Юлия Сахарова спросила, как нейросети поменяли нашу работу и где они до сих пор только мешают: https://setka.ru/posts/01a1692e-16dc-7682-92b0-ceeaa07a0adb. Под вопросом уже больше 20 комментов, и разброс там от «совсем не изменился» до «не понимаю, зачем вообще нанимают разработчиков». Последнее написал Глеб Новичков.

Я там коротко ответил, что на бэкенде ИИ сильно упростил рутину, например тесты. Хочу развернуть, потому что как раз с тестами есть подвох.

Просишь набросать тесты на сервис и через минуту получаешь пачку. Запускаешь, всё зелёное, покрытие выросло. Приятно. А потом читаешь внимательно и видишь, что половина тестов проверяет моки. Замокали репозиторий, сказали ему вернуть заказ, проверили, что вернулся заказ. Тест проверяет сам себя.

Хуже другое. Такие тесты повторяют код, а не требования. Если в методе баг, ИИ честно напишет тест, который этот баг закрепит. Пайплайн зелёный, мерж уверенный, а ошибка едет в прод уже с покрытием.

Дмитрий Свинтитских в том же треде рассказал, как код из ChatGPT положил сервер через пять минут после выкладки. Думаю, у многих есть истории потише: ничего не упало, просто тест, который должен был поймать проблему, её не ловил.

Поэтому на вопрос Глеба у меня простой ответ. Нанимают не того, кто пишет код. Нанимают того, кто знает, что именно надо проверить, и отвечает, если не проверил. ИИ такой вопрос себе не задаёт, он отвечает на тот, который ему дали.

Иногда я читаю тест от нейронки дольше, чем писал бы его сам. Это всё ещё ускорение? Честно, не уверен.

Вопрос к тем, кто ревьюит код: вы проверяете, что тесты от ИИ ловят реальную ошибку, или смотрите на зелёный цвет и процент покрытия?