Ранее я писал пост о том, как реализовал небольшой проект для минимизации рисков утечки конфиденциальных данных за счёт изоляции модели в Docker с использованием best practices для контейнеризации. Ознакомиться с этим постом можно по ссылке: ➥ https://setka.ru/posts/019cfb39-35e2-7613-942e-eedba58a10f

В этом же посте я хотел бы поверхностно разобрать, какие уязвимости вообще существуют в ИИ, помимо утечек информации.

В 2025 году OWASP сформировал список из 10 наиболее распространённых уязвимостей, связанных с реализацией моделей. Эти проблемы актуальны не только для новых решений, но и для уже существующих систем.

━━━━━━━━━━ OWASP Top 10 2025 для LLM/GenAI ━━━━━━━━━━

LLM01: Prompt Injection — инъекция в промпт • Это когда модель слишком доверяет внешнему тексту и начинает следовать не задаче пользователя, а скрытой инструкции из письма, сайта, документа или другого источника.

LLM02: Sensitive Information Disclosure — раскрытие чувствительной информации • Это когда модель или ИИ-система выдают секретные, личные или внутренние данные, которые не должны попадать в ответ пользователю.

LLM03: Supply Chain — риски цепочки поставки • Это когда проблема находится не в вашем коде, а в сторонней модели, библиотеке, плагине, датасете или другом внешнем компоненте, который вы подключили.

LLM04: Data and Model Poisoning — отравление данных и модели • Это когда в данные или модель заранее вносят вредные изменения, чтобы ИИ позже начал ошибаться, вести себя неправильно или выполнять опасные сценарии.

LLM05: Improper Output Handling — небезопасная обработка вывода модели • Это когда ответ модели принимают как безопасный и без проверки передают дальше в код, интерфейс, команду или систему, из-за чего ответ ИИ сам становится точкой атаки.

LLM06: Excessive Agency — избыточная агентность • Это когда модели дают слишком много возможностей и прав: читать файлы, выполнять команды, ходить во внешние сервисы или менять данные там, где она не должна иметь такой свободы.

LLM07: System Prompt Leakage — утечка системного промпта • Это когда становятся видны внутренние инструкции модели, её скрытые правила работы или служебная логика, на которой построено поведение системы.

LLM08: Vector and Embedding Weaknesses — слабости векторной базы и embeddings • Это когда система плохо работает с базой знаний и внешним контекстом, из-за чего в неё можно подмешать ложные данные, сбить поиск или повлиять на ответ модели через подставной контент.

LLM09: Misinformation — дезинформация • Это когда модель выдаёт ложную или искажённую информацию так, будто она верная, и пользователь может принять её за факт.

LLM10: Unbounded Consumption — неограниченное потребление ресурсов • Это когда ИИ-систему можно перегружать запросами, длинным контекстом или тяжёлыми задачами без нормальных ограничений, что приводит к лишним расходам, замедлению или отказу сервиса.

━━━━━━━━━━ Мой личный взгляд на ситуацию с безопасностью в ии ━━━━━━━━━━

Я считаю что это отдельная сфера безопасности для бизнеса который хочет создавать ии модели с 0 но как AppSec могу сказать что итоговая архитектура приложения довольно приметивна и кол векторов атак на ии агентов напрямую зависит от того где он будет находиться и какие задачи будет реализовывать.

В большинстве случаев для анализа документов достаточно простой правильной изоляции как на стороне компонента так и ролевой модели доступа к нему.

#AI #GenAI #LLM #AIAgents #CyberSecurity #AppSec #OWASP #OWASPTop10 #OWASPGenAI #PromptInjection #SecureAI