Разработчики ИИ-моделей все чаще публикуют отчеты, в которых рассказывают о сценариях использования злодеями их продуктов для «вайб-хакинга»: автоматизации разведки и анализа поверхности атаки, разработки вредоносного софта, подготовки фишинговых сообщений и даже для организации шпионажа. При этом нельзя назвать эти публикации полноценными Threat Intelligence отчетами, потому что в них нет наиболее важной части: индикаторов компрометации — информации, которая позволит владельцу ИИ-модели и специалисту по защите выявлять описанные сценарии у себя в инфраструктуре.

В подобных атаках может не быть классических индикаторов вроде IP-адресов или файловых сигнатур. На первый план выходят цепочки запросов, которые осуществлял атакующий и серия ответов от модели.

Встретил фреймворк, который реализует эту концепцию и позволяет трансформировать вредоносные запросы в индикаторы компрометации. Что-то вроде правил YARA, но для LLM-сценариев. Аналитик может применять правила для детекта злоупотреблений моделями, но чтобы исключить ложные срабатывания, придется дополнять контекст запроса дополнительной инфой. Например, проводить анализ ответа. И тем не менее, инструмент можно использовать, чтобы извлекать из подобных отчетов сигнатуры для проверки.