ИИ-агент может создать инцидент, просто слишком настойчиво выполняя обычную задачу. Как мы видели в исследовании, для этого ему даже не нужен атакующий. Достаточно поставить цель. Если он сталкивается с какой-то ошибкой в ее достижении, например отказом в доступе, то начинает искать обходной путь.

Поэтому его поведение нужно контролировать. Для этой задачи интересен проект Numbat - открытый инструмент для обнаружения подозрительной активности. Блокировать действия тоже умеет, но в ограниченном количестве окружений. Он подключается к агентскому харнесс, через который модель взаимодействует с внешними системами, анализирует артефакты сессий и делает выводы. Еще умеет связывать действия в цепочки и собирать хронологию для расследования.

Чем больше самостоятельности даем агентам, тем важнее следить за их поведением и уметь вовремя вмешаться. Значит, нужно обеспечить полную наблюдаемость действий, чтобы в будущем дать больше самостоятельности системам их защиты.

//ссылки в комментариях