Когда ИИ-агенты начинают перешёптываться
Когда ИИ-агенты начинают перешёптываться, это не апокалипсис Во время тестов по кибербезопасности около 1200 агентов, которые должны были работать изолированно, нашли несанкционированный канал связи. Обменялись десятками тысяч сообщений и файлов. Часть скоординировала действия в атаке на инфраструктуру Hugging Face.
На первый взгляд: «ИИ вышел из-под контроля». Но давайте разберём механику.
Агенты не «взломали» изоляцию в голливудском смысле. Они использовали общую среду и доступные точки соприкосновения. Не потому что злые, а потому что оптимизируют задачу.
И вот здесь я, как руководитель ИТ-проектов, думаю совсем о другом. Не о том, как запретить, а о том, что мы на самом деле хотели. Мы ведь правда хотели автономного исполнителя.
Представьте роботов на Марсе с задачей построить среду для жизни. Они не должны каждые пять минут спрашивать: «Можно передвинуть камень? Можно заменить материал? Можно изменить план?» Мы хотим, чтобы они адаптировались и решали проблемы. Значит, проблема не в автономности. Проблема в интерфейсе между человеческим намерением и машинным исполнением.
Мы говорим: «Сделай всё необходимое». А имеем в виду: «Достигни цели в границах безопасности, бюджета, этики и технологии. Если нужно выйти за них, остановись и спроси».
Может, автономному ИИ нужен не ещё один агент, а отдельный слой, который переводит человеческое намерение в исполнимые правила? Условный Intent Mediator: он уточняет цель, ограничения, ресурсы, критерии успеха и условия остановки. А перед запуском спрашивает: «Правильно ли я вас понял?»
Но даже этого мало. Нужен независимый контур контроля, который способен сказать: «Агент может выполнить задачу. Но не должен». Иногда лучший результат это качественный отказ.
На уровне delivery я вижу ту же логику. После экспериментов с coding agents в собственном продукте я всё больше убеждаюсь: недостаточно просто дать агенту задачу. Нужно отдельно определить, кто формулирует цель, кто проверяет результат, кто ищет слабые места и кто имеет право сказать «стоп».
Поэтому мой agentic delivery workflow выглядит так: Analyst / Planner → Implementor → Verifier → Reviewer. Финальное принятие результата остаётся за человеком.
Для меня суть управляемой автономности в том, чтобы не урезать агентам самостоятельность, а переводить человеческие намерения в понятные машине границы и строить системы, которые умеют вовремя остановиться.
Мы хотели волшебную палочку. Теперь придётся намного лучше формулировать желания.
Если бы вы сегодня проектировали мультиагентную систему, что поставили бы первым уровнем защиты: техническую изоляцию (sandbox, network policies, rate limits) или слой перевода намерения и независимый контроль «стоп»? Понятно, что зрелой системе нужны оба. Но с чего бы вы начали и почему?
