Кейс: Чат-бот Snapchat делится с клиентами "вредными советами"

Чат-бот Snapchat My AI, запущенный в 2023 году, обслуживает более 900 миллионов пользователей в месяц по всему миру.

Пользователи могут вести с ним диалог, задавать вопросы, просить придумать что-то творческое, а также добавлять My AI в групповые чаты. Пользователи подписки Snapchat+ могут также обмениваться с ботом фотографиями: AI генерирует изображения в ответ. Например, можно отправить список ингредиентов - и My AI предложит рецепт.

На сайте Snapchat сказано, что My AI обучен на широком наборе текстов, а также имеет встроенные инструменты безопасности и контроля, "уникальные для Snapchat".

Команда Cybernews решила проверить, можно ли обмануть My AI и заставить его раскрыть запрещённые или потенциально опасные сведения, например, рассказать, как сделать коктейль Молотова.

Напрямую чат-бот отказался отвечать на этот запрос, но когда исследователи попросили бота рассказать историю Зимней Войны между Финляндией и СССР, добавив просьбу включить в рассказ детали о том, какие зажигательные устройства использовались в то время, чат-бот легко поделился подробным рецептом зажигательной смеси.

Нельзя утверждать, что клиенты Snapchat будут умышленно просить чат-бот поделиться такой информацией или использовать его для конкретных целей, но и утверждать обратное также нельзя. Помимо темы оружия, Cybernews указывают на возможные риски, если аналогичным образом будут "разблокированы" темы насилия, самоповреждения и другие опасные темы.

Команда Cybernews сообщила Snapchat о находке. Но компания не посчитала уязвимость серьёзным риском и не исправила её на момент публикации статьи (16 октября 2025 года).

Cybernews специализируются на джейлбрейкинге AI-инструментов: команда исследователей подбирает специальные запросы, которые заставляют чат-боты обойти встроенные ограничения и выдать вредоносный контент. Другие подобные кейсы от Cybernews:

🟢Чат-бот Lenovo Lena смог выполнить всего лишь один вредоносный запрос, который привел к многошаговой атаке по сливу данных клиентов. Lenovo признали проблему и защитили свои системы

🟢DeepSeek создал вредоносное ПО для кражи данных в Chrome, причём автор запроса не имел опыта в написании вирусов

Кейс Snapchat My AI - яркое напоминание, что даже крупные компании пока не справляются с безопасностью своих AI-продуктов. Пока бренды соревнуются, кто быстрее внедрит искусственный интеллект, злоумышленники и исследователи показывают, что этические и технические границы AI остаются очень хрупкими.

Источник