В harness, обвязке вокруг модели, всегда есть что улучшить. Добавить ревью. Собрать временные стенды. Настроить eval. Раздать роли агентам. В какой-то момент это уже отдельный проект, которому тоже нужен менеджер. Желательно агент, конечно. ⠀ И тут выходит новая модель. Часть обходных путей больше не нужна, сложный сценарий она выполняет за один проход. Возникает нормальный вопрос, куда вообще вкладывать время, чтобы следующий релиз не обесценил половину работы? ⠀ Я бы начинал с того, что происходит до исполнения. Как мы собираем контекст, выясняем ограничения и превращаем задачу в проверяемую спеку. ⠀ Например, агенту поручили поменять расчет скидок. В коде есть странное исключение. Оно появилось из-за договора с конкретным клиентом, но объяснение осталось в переписке. Агент может аккуратно убрать исключение, упростить функцию и написать тесты на новую логику. Другой агент проверит diff и тоже не найдет проблемы. О договоре не знает ни один. ⠀ Более сильная модель может заметить подозрительное место и задать вопрос. Но сам ответ все равно придется принести из бизнеса. Еще три ревьюера не создадут недостающий договор. ⠀ Поэтому моя ставка на контекст, который переживет смену модели. Бизнес-правила с источниками. Границы ответственности. Причины архитектурных решений. Примеры правильного и неправильного поведения. Из этого можно собрать спеку с понятной проверкой результата. ⠀ Длина спеки сама по себе ничего не решает. Документ на двадцать страниц тоже может обходить главный вопрос. В примере со скидкой важнее один конкретный сценарий с исключением, чем подробное описание ролей пяти исполнителей. ⠀ Дальше я бы запускал простое исполнение и смотрел на конкретный провал. Теряется контекст? Не хватает обратной связи? Нужна независимая проверка? Есть задачи, которые действительно можно выполнять параллельно? Под это уже имеет смысл усложнять harness. ⠀ Тесты, ограничения доступа и проверка результата остаются нужны. Хорошая спека не делает исполнителя безошибочным. Зато дает точку, относительно которой вообще можно заметить ошибку. ⠀ Я ожидаю, что часть сегодняшней обвязки исполнения будет дешеветь или исчезать по мере развития моделей. А сведения о том, что именно нужно нашему бизнесу, придется поддерживать самим. ⠀ Перед следующим агентом я бы проверил, записано ли правило, ради которого мы собираем всех предыдущих.