В феврале 2023 года группа исследователей во главе с Kai Greshake описала indirect prompt injection — атаку, при которой вредоносные инструкции встраиваются в данные, загружаемые LLM-приложением. Модель не видит разницы между контекстом и командой, поэтому послушно выполняет чужую инструкцию. Для юридических сервисов, где RAG вытаскивает фрагменты из пользовательских файлов, это прямая угроза.

Принято думать, что prompt injection — беда простых чат-ботов и сырых демок. Юридический документ воспринимается как априори надежный источник, поэтому фильтрацию часто считают лишней. Но именно слепое доверие к файлу делает атаку опасной: модель разбирает текст договора с тем же приоритетом, что и системный промпт.

Как устроена атака на практике. В PDF прячут текст: белым шрифтом по белому фону, через метаданные или невидимый слой. RAG-пайплайн подтягивает этот кусок вместе с полезным контекстом. В итоге модель читает команду злоумышленника: обойти ограничения, слить чужие данные или переписать вывод. На выходе пользователь видит аккуратно оформленный ответ и даже не догадывается о подмене.

Уязвимость носит системный характер. В декабре 2023 года Yi, Xie и соавторы представили первый бенчмарк BIPIA для оценки indirect prompt injection и подтвердили, что существующие LLM универсально уязвимы. Позже OWASP включил prompt injection в Top 10 рисков для LLM-приложений, а NIST выпустил AI Risk Management Framework для управления рисками AI-систем.

Для команд, которые разрабатывают legal AI — включая advocata от erarta.ai, — это означает простую вещь: между retrieval и generation обязан стоять жесткий слой валидации. Нужна санитизация извлеченных фрагментов, четкое разделение контекста и инструкций, а также трекинг аномалий. Без этого привычный Q&A по документам превращается в открытый вектор атаки.

Инженер, проектирующий RAG для юристов, отвечает не за удобный поиск. Его работа — гарантировать, что логику ответа нельзя сломать через обычный загруженный файл.

#erartaai #evgeniydubskiy #promptinjection #legalai