Stack Overflow: лишь 9,6% тестов ИИ оказались полезными
13 ноября вышла статья инженера Momentic о самопроверке кодинг-агентов.
Внутри компании проверили 1000 юнит-тестов ИИ. Полезными признали 9,6%. В отдельном внешнем эксперименте агенты со своими тестами решали 65,3% задач, без них — 66,2%.
В бенчмарке Momentic независимый QA-агент находил в 3–5 раз больше ошибок. Это исследования компании, которая сама разрабатывает инструменты тестирования.
Проблема понятна: агент неверно трактует требование, пишет код и затем проверяет его по тем же предположениям. Тест проходит, хотя поведение программы неправильное.
Я бы строил проверки от требований, давал QA-агенту отдельный контекст и оставлял ревью тестов инженеру.
Зелёный CI ещё ничего не говорит о качестве проверки. Важно, какие реальные дефекты она находит.