Это много или мало?

Пересобирая резюме в десятый раз, я полез разбираться, что вообще влияет на решение.

Наткнулся на историю про компанию Lotus, которая в свое время сделала главного конкурента Excel. Там был проведен эксперимент, когда изменили резюме лучших сотрудников, провели их через свои процессы найма, и никто не прошел дальше рекрутера.

История оказалась легендой, но привела меня к Алине Лернер и ее данным, гораздо интереснее легенды.

Лернер была инженером, затем стала техническим рекрутером, а после основала платформу анонимных технических интервью. По факту была знакома с данными с обеих сторон стола. Разбирая резюме инженеров за год, она обнаружила, что сильнейший сигнал для оффера - это количество опечаток и грамматических ошибок, а вуз и степень оказались нерелевантны. Это 2013 год.

В 2014 она попыталась проверить свою находку. 152 человека оценивали резюме инженеров, отвечая на простой вопрос - позвал бы на собеседование? Точность - 53%, на уровне монетки. Причем одинаково у рекрутеров и инженеров. Вывод: проблема не в оценщике, а в том, что резюме - низкосигнальный документ. «Resumes suck».

Она топила за это до 2024 года, когда проверила ту же гипотезу строго, вместе с экономистами, с объективным критерием. Резюме сверяли с тем, как эти же люди прошли алгоритмическую секцию на техническом интервью.

76 рекрутеров, больше 1000 резюме, больше 2000 оценок, точность - 55%. Медиана времени на резюме - 31 секунда. Разброс оценок одного кандидата почти равен разбросу между разными.

На словах главная причина отказа - не хватает навыка. По регрессии же главным предиктором отказа стали: нет топ-компании в бэкграунде, есть MBA, нет топ-вуза, есть магистратура. То есть MBA и магистратура работают против кандидата. Все про происхождение, ни одного про реальные навыки.

При этом Лернер отказалась от своей позиции resumes suck. Сигналы в резюме есть, просто человек не уделяет резюме достаточно времени. После 45 секунд точность растет, лишние 15 секунд дают +34%.

Что же про ИИ? Две коробочные модели (Random Forest и XGBoost) обошли в точности живых рекрутеров. Причем текст резюме они не читали вообще, только годы опыта, компании и вуз. То есть смотрели ровно туда же, куда и человек, но с корректными весами. Их учили предсказывать не одобрение рекрутера, а прохождение интервью. При таком таргете топ-компания получает свой честный вес, а не раздутый кратно, и MBA уходит в минус, а не в плюс.

Но почти весь рекрутинговый AI сегодня учится на другом - одобрит ли рекрутер резюме. А чаще всего под капотом просто обертка над ChatGPT, которая имитирует рассуждения рекрутера. То есть копирует ровно то поведение, которое дало точность на уровне монетки.

Фундаментальнее другое. Ни рекрутер, ни модель, обученная на его решениях, сами не увидят, справился ли тот, кого позвали. Отбор без обратной связи не улучшается - он просто закрепляется.