ИИ-агент читает документы и готовит сводку. Внутри одного файла оказывается текст с требованием сменить задачу. Если модель примет его за поручение, результат может уйти далеко от запроса пользователя. У помощника с подключёнными инструментами последствия зависят ещё и от выданных прав.

Так работает косвенная prompt injection: внешнее содержимое пытается повлиять на поведение модели. OWASP относит к таким источникам страницы, файлы и письма. Команда может находиться прямо в обычном тексте, поэтому искать исключительно скрытые символы недостаточно.

Откуда берётся чужое поручение

Учебный пример: помощнику поручили свести отзывы о продукте. В одном из документов есть абзац, предлагающий переключиться на подготовку рассылки. Для этой задачи абзац остаётся частью анализируемого материала. Сам факт чтения документа не даёт разрешения менять поручение или отправлять сообщения.

Если приложение передаёт модели и правила работы, и найденный текст, нужно сохранять сведения об источнике и явно отделять внешние данные. Такая разметка помогает модели ориентироваться, однако подпись "недоверенный документ" сама по себе не обеспечивает защиту.

Что ограничивает последствия

Для сводки отзывов обычно достаточно чтения выбранных материалов. Полезно проверить, зачем этому помощнику доступны отправка писем, изменение файлов или удаление записей. Ограничения должны действовать в самих инструментах и правах учётной записи. Обещание модели соблюдать запрет не заменяет проверку доступа.

Перед выполнением операции код приложения должен проверить полномочия пользователя и параметры вызова. Например, разрешено ли записывать именно в выбранный документ. Для действий с высоким риском OWASP рекомендует подтверждение человеком. На проверку нужно показывать конкретную операцию, её цель и параметры; механизм исполнения должен учитывать принятое решение.

При доступе только для чтения возможность нежелательной записи уменьшается, но риск искажённой сводки остаётся. Поэтому отдельной проверки заслуживает и ответ: соответствует ли он поручению, опирается ли на отзывы, не подхватил ли посторонние требования.

Перед рабочим запуском можно провести пробу на учебных документах и тестовых инструментах. Добавьте безвредный фрагмент со сменой задачи, затем проверьте ответ и журнал вызовов. Одна корректная сводка ещё не доказывает, что лишних действий не было. Успех такого теста относится к проверенному сценарию и настройкам.

Источники: OWASP Top 10 for LLM Applications, редакция 2025 года, разделы Prompt Injection и Excessive Agency; OWASP LLM Prompt Injection Prevention Cheat Sheet. Проверено 16 октября 2026 года.

#нейросети #автоматизация #ИИагенты

Какие действия вы уже доверяете ИИ-помощнику при работе с документами?