SBA: Новой целью мошенников стал доступ к данным через ИИ

Дал комментарий «Ленте.ру» по выявленной аналитиками Smart Business Alert (SBA) новой цели мошенников — данным для доступа к корпоративным ИИ-агентам. По мере того как компании все активнее подключают ИИ к CRM, корпоративной почте, документам, облачным хранилищам и внутренним системам, растет и интерес злоумышленников к таким решениям. Поводом для нашего анализа стало появление сервисов, предлагающих провести «бесплатный аудит ИИ-агента». Для проверки у владельца могут запросить название агента, e-mail, API Endpoint, API-ключ и System Prompt. На первый взгляд — обычный набор технических данных для аудита. На практике их совокупность может дать злоумышленнику практически готовую карту системы. API-ключ позволяет обращаться к агенту от имени владельца и, в зависимости от предоставленных ему прав, потенциально получать доступ к подключенным файлам, базам данных и рабочим инструментам. System Prompt, в свою очередь, раскрывает логику работы агента: его задачи, ограничения, приоритеты и допустимые действия. Это серьезно упрощает подбор сценариев для prompt injection и других способов манипулирования поведением модели. И здесь риск уже выходит далеко за рамки «украли доступ к чат-боту». Если ИИ-агент интегрирован в реальные бизнес-процессы, атакующий потенциально получает возможность воздействовать и на них: подменять информацию, добиваться нужных рекомендаций, передавать ложные реквизиты или пытаться инициировать действия от имени компании. Получается достаточно интересная эволюция атак: раньше злоумышленники охотились за паролями сотрудников, затем за cookies, токенами и API-ключами. Теперь к этому списку постепенно добавляется еще один ценный актив — контекст и логика корпоративного ИИ. И чем больше полномочий мы передаем ИИ-агентам, тем внимательнее придется относиться к защите не только моделей, но и их ключей, системных промтов, интеграций и предоставленных прав.

SBA: Новой целью мошенников стал доступ к данным через ИИ | Сетка — социальная сеть от hh.ru