Сегодня LLM лежат в основе множества приложений — от чат-ботов до генерации кода. Но где больше возможностей, больше и риска: злоумышленники активно исследуют способы обхода встроенных ограничений, извлечения конфиденциальной информации и манипулирования поведением моделей.

Особое внимание сегодня привлекают LLM-агенты — автономные системы, которые используют языковые модели для планирования и выполнения действий: успешный взлом может привести не только к некорректному ответу, но и к реальным действиям, например, несанкционированным транзакциям.

Наш Data Scientist Владимир Фуфаев разобрал исследование A Survey of Jailbreaking Attacks on Large Language and Multimodal Models — большой обзор методов  защиты и взлома LLM, а также подборка датасетов для калибровки механизмов защиты.

Сохраняй себе — внутри 65 работ, датасеты для тестирования защиты и много практических примеров.