Почему нельзя разрешать агенту переписывать свои промты на лету!
Если ваш агент умеет сам переписывать свой системный промпт на проде, поздравляю: вы собрали генератор энтропии с периодом полураспада в двое суток.
В соцсетях до сих пор вирусятся восторги про "агентов, которые учатся на ходу и сами правят свои инструкции". Выглядит как магия: агент ошибся, подумал, переписал промпт под капотом и стал умнее.
В реальности на третьем цикле такой агент ловит галлюцинацию на краевом кейсе, вписывает костыль прямо в ядро инструкций, ломает базовые контракты и уходит в штопор.
Никакого "магического самообучения" на живой системе быть не должно. Промпт рабочего агента на проде обязан быть неизменяемым артефактом.
Вместо хаотичного самокопания работает дарвиновский отбор через жесткий конечный автомат:
Draft. Любая модификация промпта, инструментария или логики рассуждений - это не патч текущего инстанса, а рождение черновика. Он изолирован и не имеет доступа к боевым данным.
Shadow. Новая версия крутится в тени. Она получает те же входные данные параллельно с рабочей моделью, но ее ответы не идут наружу. Здесь мы копим статистику и смотрим, не развалился ли разбор схем данных.
Candidate. Если теневые прогоны не деградировали, агент становится кандидатом на релиз. На этом этапе он прогоняется через детерминированный набор регрессионных тестов и валидаторы контрактов. Никаких субъективных оценок от LLM-судей - только жесткая проверка схем и инвариантов.
Active. Только после успешного прохождения гейтов кандидат встает на боевое дежурство, подменяя предыдущую стабильную версию.
Degraded. Как только на проде растет число сбойных тул-коллов или падает точность на реальном потоке задач, агент переводится в статус деградации и откатывается назад. Без права спорить с метриками.
Агент в рантайме не хирург, делающий операцию на собственном открытом мозге. Он генератор мутаций.
Оценивать пригодность этих мутаций должен внешний детерминированный каркас, а не сама модель в приступе рефлексии.
Вы уже отдавали агентам свободу тюнить свои инструкции в боевом цикле, или сразу зажали все в неизменяемые манифесты?
