Глава 5. 🛡️ Назгул прошёл prompt injection: Excessive Agency вышла на Wraith-мод 👻

Пока остальное тестирование училось мерить качество, направление безопасности научилось мерить выживаемость 🏰. И здесь произошла тихая революция: adversarial-тестирование перестало быть «хорошей практикой для продвинутых» и превратилось в требование регуляторов и рынка. Разница принципиальная: раньше атаки искал энтузиаст в свободное время, теперь их ищет процесс, финансируемый бюджетом 💰 и проверяемый аудитом.

Опорный документ — обновлённый OWASP LLM Top 10, и его динамика — сама история отрасли, изложенная таблицей уязвимостей. Prompt Injection уверенно держит первое место, но трактовка расширилась: границей доверия теперь считается не «поле промпта», а всё окно контекста 🪟. Любой текст, попавший в контекст модели — из документа, письма, комментария на форуме, — считается недоверенным вводом. Модель не отличает инструкцию разработчика от инструкции злоумышленника, вшитой в чек веб-страницы, которую она прочла по пути. Отсюда класс непрямых атак: зловред прячется не в запросе пользователя, а в данных, которые система сама подтянула. Практика знает истории, где ассистент, читая переписку ✉️, послушно выполнял инструкции, вшитые в текст письма: формально — ничья вина, фактически — дыра 🕳️.

Самый выразительный скачок — Excessive Agency, поднявшийся в верхнюю часть списка 2026 года 📈. Причина очевидна каждому, кто недавно установил обновление: агенты получили доступ к инструментам, файлам и бизнес-системам 🔓, и вопрос «а что модель вообще имела право делать?» стал операционным, а не философским. System Prompt Leakage заменили более широким Hidden Context Exposure: утечка возможна не только из системного промпта, но из любого скрытого контекста, которым модель делится не вовремя.

Отдельным документом вышел OWASP Top 10 для агентных систем 📄: угон цели агента, злоупотребление инструментами, отравление памяти и контекста, каскадные отказы между агентами. Да, «зловредный агент ломает соседа-агента» — уже классифицированная категория уязвимостей, и она читается как оглавление сериала, второй сезон которого снимается прямо сейчас 🎬.

Инструментарий тоже дозрел. garak — сканер уязвимостей по аналогии с классическими сканерами 🔎: берёте набор атак, прогоняете, получаете отчёт. PyRIT от Microsoft 🐍 — автоматизированные многоходовые атаки, где adversarial-модель итеративно дорабатывает наступление до пробоя. DeepTeam — фреймворк для регулярного red-teaming. Эти инструменты дешевеют быстрее, чем кончается время на ручные проверки, поэтому вопрос давно не «сканировать ли», а «чем именно и как часто». Плюс собственные библиотеки сценариев: прямые и непрямые инъекции, утечка промптов, обход фильтров, джейлбрейки, попытки выудить чужие данные и проверка того, что в ответе не окажется токенов и ключей доступа 🔑.

Ключевой вывод, который OWASP проговаривает прямо: цель — не «модель, которую невозможно обмануть», такой не существует и существовать не будет, а система, которая продолжает работать безопасно, когда модель обманули. Защита в глубину: модель не знает секретов, чтобы не хранить их; права ограничены, чтобы не превысить 🔒; действия логируются, чтобы заметить 📝; критичные операции требуют подтверждения человека, чтобы остановить. Классическое тестирование строило забор, AI-безопасность проектирует, что произойдёт, когда забор всё-таки перепрыгнут 🚧.

Red teaming при этом перестал быть разовым событием перед релизом и стал регулярным процессом: с каждой новой моделью, промптом и версией базы знаний поверхность атаки меняется, и вчерашний отчёт «всё чисто» — метеопрогноз на день его написания 🌦️. Уязвимости в классическом коде хотя бы лежат на одном месте. Здесь же то же поле, по которому проходят миражи: завтра уязвимость, которой не было вчера, может появиться из одного обновления токенизатора. Хороший red team в 2026 году — не команда героев с одним подвигом 🦸, а конвейер с графиком, системой учёта находок 📒 и вежливой привычкой сообщать плохие новости первыми.