Друзья, привет! Кто в вашем продукте решает, какой инструмент агент вызовет следующим?

9 декабря 2025 года Джон Сотиропулос, Керен Кац и Рон Дель Росарио выпустили OWASP Top 10 для агентных приложений. По их словам, всего за один год GenAI превратился из полезных чат-ботов в автономных агентов. Эти агенты планируют, действуют и координируются между собой.

Над списком работали сотни экспертов.

Удобная трактовка звучит так: агенты-взломщики — это история про злой ИИ, который сам решил атаковать. OWASP смотрит на это иначе. В описании уязвимости Excessive Agency ущерб возникает независимо от того, что вызвало сбой модели. Причина вторична, решают права, выданные агенту.

Механика простая. Разработчик даёт агенту расширения: функции, плагины, доступ к другим системам. Выбор, какое из них вызвать, отдаётся модели. Агент раз за разом обращается к LLM и опирается на её же прошлые ответы. Ошибка в начале цепочки становится основанием для следующего шага.

Триггеров несколько. Первый — галлюцинация из-за плохо составленного безобидного промпта. Второй — прямая или непрямая промпт-инъекция от злоумышленника. Третий — скомпрометированное расширение, вызванное раньше по цепочке. В мультиагентных системах источником может оказаться другой агент.

Тему разбирают и на уровне госстандартов. NIST опубликовал в блоге CAISI выводы о безопасности агентов по итогам масштабного соревнования по red-teaming. OWASP в отчёте LLM Exploit Generation сравнивает работу под руководством человека и автономные ИИ-подходы против живых целей.

Для основателя вывод конкретный. Я бы до запуска выписал все инструменты агента и для каждого ответил на один вопрос: какое самое разрушительное действие он выполнит, если модель получит подменённую инструкцию? Всё необратимое, то есть удаление, платежи и отправку данных наружу, я бы поставил за подтверждение человеком. Каждый вызов инструмента стоит логировать вместе с входом, который к нему привёл.

Профессия смещается. Промпт перестаёт быть главным предметом заботы. Главным становится граница: что агенту позволено сделать в момент, когда он ошибётся.

#erartaai #evgeniydubskiy #AIагенты #кибербезопасность