Харнесс проверки важнее числа строк
Кейс CodeScene разлетелся по сети как сенсация: агент отрефакторил 300 тысяч строк C за три недели за 4 тысячи долларов. Техдолг побеждён - так читают заголовки.
Я прочитал сам кейс, и там другая история. Всё получилось не потому, что агент такой умный, а потому, что его работу можно было дёшево проверить. Поведение кода сверялось покадрово: декомпилированная игра либо работает как раньше, либо нет. Плюс у агента был детерминированный сигнал качества и playbook из 22 рецептов, накопленных на этой конкретной кодовой базе.
Авторы сами признают: дайте агенту метрику - он оптимизирует любую. Здесь метрика была валидирована, а проверка автоматической.
Перенесите это на свою работу. Ваш код нельзя прокрутить покадрово, как игру. Проверка результата стоит дорого - и именно там, где проверка дорогая, агенты будут ломать. Настоящий артефакт кейса не число строк, а харнесс проверки.
Первоисточник: https://codescene.com/blog/case-study-refactoring-at-scale-with-agents