Остановить ИИ-агента может только руководитель
ИИ-агент сам не останавливается. Остановить работу и выбросить лишнее может только руководитель.
В моём проекте команда — я и ИИ-агент. За первые недели я разобрал, как именно агент ошибается. Способов три, и цена у них разная.
1. Достройка при пробеле. Нет требования — агент дописывает сам. В первый день он написал код, которого я не просил, и я его удалил. Это самая заметная ошибка и самая дешёвая: лишнее видно сразу.
2. Правдоподобная неверность. Агент подключил в сборку проверку лицензий через шаблон, которого не существует уже несколько версий. Название построено по правилам настоящих, цель верная — неверен способ. Такая ошибка проходит чтение глазами и ловится только прогоном или сверкой с документацией.
3. Уверенность вне своей компетенции. Часть вопросов касается устройства организации, а не системы. Мой агент довёл их до формулировки и оставил мне. Опасен обратный случай: решение, принятое агентом вместо руководителя, выглядит так же убедительно, как обоснованное.
Общее у всех трёх одно. Написать ещё агенту ничего не стоит: у него нет издержек производства. Решение «стоп, это выбрасываем» остаётся за человеком, и промптом его не делегировать.
Чтобы не держать всё на собственной бдительности, ключевые принципы я закрепляю техническими запретами, а не договорённостями. Правило «автоматика не изменяет модель» держится на правах ролей в базе данных и на тесте, который падает при нарушении.
Проверка для любого принципа простая: что сломается, если его нарушить, и кто это заметит — человек или система?
Какую работу ИИ-агента в вашей команде останавливает человек и по какому признаку?
О проекте и работе с агентом пишу в Telegram-канале «ИТ как система. Без героев». Ссылка — в первом комментарии.
· 21.10
Добавил бы признак остановки: агент повторяет неудачный шаг, но не приносит новых данных о причине сбоя. Такой цикл можно ограничить числом попыток и требовать короткий отчёт «что проверено, что осталось неизвестным». Решение продолжать тогда опирается на собранные свидетельства.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 21.10
Спасибо, это хороший признак, и он хорошо ложится в логику поста: лимит попыток — тот же технический запрет вместо бдительности. А отчёт «что проверено, что неизвестно» переводит решение «продолжать или остановить» из ощущения в факты — его руководителю и принимать проще.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 21.10
У меня похожее правило уже работает: если автотест падает и три попытки исправления не помогли, агент останавливается, и причину разбираем вместе. Чаще всего она оказывается не в тесте. Долгие тесты не останавливаю, но фиксирую как техдолг — чтобы потом разобраться, откуда деградация.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён