AI-агенту мало хорошей модели.

Настало время вспомнить про Мартина нашего Фаулера, у него на сайте еще весной вышла отличная статья от Биргитты Бёкелер про про harness engineering:

Birgitta Böckeler — Harness engineering for coding agent users

Она по сути пытается кодифицировать инженерное окружение, которое помогает coding-агентам работать автономнее и надёжнее. Главная мысль проста: качество результата определяет не только модель.

Агенту нужны:

— правила и контекст, которые могут направить его до работы;

— тесты, линтеры и архитектурные проверки, которые дают быструю обратную связь;

— цикл самокоррекции, в котором найденная ошибка исправляется до прихода человека (местами пока фантастика, но кое-что уже работает).

Особенно мне понравилось разделение проверок на вычислительные — быстрые и детерминированные — и смысловые, выполняемые другими моделями.

Получается такой сдвиг — мы проектируем среду, в которой агенту проще сделать правильно и сложнее — незаметно ошибиться. Кажется, мы все пришли к этим выводам, но Биргитта это зафиксировала текстом.

За нами остается важная задача. Определить, что значит «хорошо», и встроить это в систему.