Этим летом мы в talense.io делали ИИ-проверку тестовых заданий для крупной IT-компании. Через систему прошло 1300 репозиториев кандидатов, и несколько выводов оказались неожиданными.

Тестовое с одним правильным ответом больше не работает: нейросеть решит его за пару минут. Поэтому задание пришлось делать полутворческим, без эталонного решения.

Половина проблем была вовсе не в коде. Кандидаты сдавали решения не в ту ветку репозитория, а без лимита на размер работы модель читала сотни файлов и съедала бюджет.

Слабые работы ИИ отсеивал уверенно, это примерно половина всех решений. А вот выбрать лучших среди сильных кандидатов пока не может: оценки похожих работ заметно расходились. Финальное решение всё равно остаётся за людьми.

Если вы тоже пробовали автоматизировать проверку тестовых, расскажите в комментариях, как у вас получилось.