Фонд OWASP выделяет 10 ключевых уязвимостей LLM. Контент-маркетолог arcsinus Лёша Нечаев перевёл их на «человеческий язык».

1⃣ Prompt Injection — «инъекция в промпт». Хитро составленный запрос может заставить модель нарушить правила и выдать лишнее.

2⃣ Insecure Output Handling — небезопасный вывод. Текст от модели может содержать вредоносный код, если использовать его, не верифицируя.

3⃣ Training Data Poisoning — отравление данных. Злоумышленник внедряется в датасет, на котором обучается языковая модель.

4⃣ Model DoS — отказ в обслуживании. Модель заваливают запросами или перегружают длинными промптами, пока она не упадёт.

5⃣ Supply Chain Vulnerabilities — уязвимости цепочки поставок. Слабое звено в сторонних библиотеках, плагинах или данных может скомпрометировать всю систему.

6⃣ Sensitive Information Disclosure — раскрытие чувствительных данных. Модель может «случайно» выдать приватные данные из обучающего датасета.

7⃣ Insecure Plugin Design — небезопасные плагины. Сторонние плагины, не проверенные на безопасность, становятся точкой входа для атак.

8⃣ Excessive Agency — избыточная автономность. Модель с лишними правами может выполнять нежелательные действия — например, перевести деньги.

9⃣ Overreliance — чрезмерное доверие. Безоглядное доверие к ИИ может привести к распространению дезинформации и возникновению уязвимостей в системах.

1⃣0⃣ Model Theft — кража модели. Языковую модель, на обучение которой компания затратила множество ресурсов, могут просто угнать.

🔗 Если хотите углубиться в тему —  в нашем блоге разбираем каждую угрозу и даём практические советы, как с ними бороться.