Пишут, что нейросети убили тестовые. Решил проверить.

Придумал типовое задание, из тех, что рассылают сотнями: «Опишите бизнес-логику процесса открытия брокерского счёта физическому лицу. Укажите шаги, статусы, роли участников и условия переходов. Срок 3 дня».

Ответ пришёл через несколько минут. И он хороший: шаги, таблица статусов, роли, схема. Аккуратно, без ошибок. Если читать по диагонали, это твёрдое «прошёл».

Но одну вещь модель не сделала, вопросы

- Резидент или нерезидент? - Кто принимает решение об отказе: система, бэк-офис или комплаенс? - Какой SLA у проверки? От ответов зависит вся логика.

Модель не спросила, допридумала недостающее и пошла дальше. Уверенно и мимо.

Поэтому в ответе нет того, ради чего вообще нанимают. Отказ описан одной строкой, а там половина конверсии: что клиент видит, может ли подать заново, сохранятся ли данные. Проверка у модели мгновенная, хотя в жизни она идёт часами, и вся работа как раз в том, что показывать человеку, пока он ждёт.

Документ модель производит отлично. Но не останавливается перед плохо поставленной задачей, а это и отличает опытного от исполнительного.

Получается, нейросети ничего не сломали. Тестовое всегда проверяло производство артефакта, просто раньше его нельзя было получить, не подумав.

я тут и подопытный, и эксперт. Возьмите задание, прогоните сами, посмотрите, сойдётся ли.

Там, где ошибка стоит дорого, домашку на выходные не дают. Пилота сажают в симулятор, повара выводят на смену. Короткая работа при свидетелях. Кто-нибудь вообще проверял, работает ли тестовое? Не «нравится ли оно нам», а сходится ли оценка с тем, как человек показал себя через полгода.