Остановить ИИ-агента может только руководитель

ИИ-агент сам не останавливается. Остановить работу и выбросить лишнее может только руководитель.

В моём проекте команда — я и ИИ-агент. За первые недели я разобрал, как именно агент ошибается. Способов три, и цена у них разная.

1. Достройка при пробеле. Нет требования — агент дописывает сам. В первый день он написал код, которого я не просил, и я его удалил. Это самая заметная ошибка и самая дешёвая: лишнее видно сразу.

2. Правдоподобная неверность. Агент подключил в сборку проверку лицензий через шаблон, которого не существует уже несколько версий. Название построено по правилам настоящих, цель верная — неверен способ. Такая ошибка проходит чтение глазами и ловится только прогоном или сверкой с документацией.

3. Уверенность вне своей компетенции. Часть вопросов касается устройства организации, а не системы. Мой агент довёл их до формулировки и оставил мне. Опасен обратный случай: решение, принятое агентом вместо руководителя, выглядит так же убедительно, как обоснованное.

Общее у всех трёх одно. Написать ещё агенту ничего не стоит: у него нет издержек производства. Решение «стоп, это выбрасываем» остаётся за человеком, и промптом его не делегировать.

Чтобы не держать всё на собственной бдительности, ключевые принципы я закрепляю техническими запретами, а не договорённостями. Правило «автоматика не изменяет модель» держится на правах ролей в базе данных и на тесте, который падает при нарушении.

Проверка для любого принципа простая: что сломается, если его нарушить, и кто это заметит — человек или система?

Какую работу ИИ-агента в вашей команде останавливает человек и по какому признаку?

О проекте и работе с агентом пишу в Telegram-канале «ИТ как система. Без героев». Ссылка — в первом комментарии.

#ИТменеджмент #ИИагенты #управлениепроектами #архитектура