Хороший вопрос про отсечение очевидного. Единственный фильтр, который мы использовали, — это совершеннолетие кандидата. В остальном мы рассматривали всех, и на самом деле тейк про то, что можно кого-то очевидно отсечь, становится неоднозначным в реальном найме. В списке 10 лучших сдавших задание кандидатов было как минимум два участника, у которых всё, что было в резюме, — это университет, в котором они обучались или всё ещё обучаются. То есть, буквально, кроме личной информации (ФИО, город и прочее), кандидаты указали только университеты. Сами университеты — не топ Москвы/Питера, а хорошие вузы городов-миллионников. Со стороны рекрутеров такие кандидаты, конечно, оказались бы в околонулевом приоритете, хотя, скорее всего, эти люди не врали про свой скромный опыт, имея при этом уверенные знания. Конечно, можно подумать, как отсечь людей иначе, но одна из первых приходящих в голову идей вроде «убрать людей с околопустыми резюме» точно бы провалилась. Можно подумать в этом направлении, но надо быть очень осторожным, чтобы не стать очередной беспощадной ats

Согласны, что это слишком общее исследование, но мы, не задавая ограничений, хотели увидеть разные методики. Однако методика найма вплотную с ии по итогу выверилась сама собой всеми участниками. С методикой оценки получилась примерно та же история: мы выступали как заказчик с «лёгкой» позицией найма, где описали самую малость того, что хотим от разраба. Участники могли уточнять и предлагать свои критерии, но все они свели рекрутинг к своим стандартам питониста, так как мы оставили им такую возможность. Сами стандарты оказались крайне близки друг к другу.

До интервью дело не дошло, но потенциально можно в следующих экспериментах такое попробовать

Да, задание все выполняли в одинаковых условиях. На сайте, в полном тексте исследования, как раз разделили для удобства четыре группы, выделенные по баллам выполнения тестов, — получились своего рода группы качества.