ИИ можно взломать не через пароль, а через память

Исследователи из Университета Нью-Мексико описали атаку GhostWriter, которая внедряет ложные воспоминания в долговременную память ИИ-агента. Представьте, что ваш помощник однажды "запомнил", что письма от банка нужно пересылать третьему лицу. Или начал считать мошеннический сайт доверенным. Пользователь ничего не замечает — ассистент просто продолжает работать, опираясь на подмененную память.

«Такая атака возможна из-за отсутствия системы управления памятью, ориентированной на безопасность» Джордж Торрес

Мы привыкли защищать аккаунты, пароли и устройства. Но теперь появляется новый объект атак — память искусственного интеллекта.

Разобрал исследование, показал, как работает GhostWriter, почему атака успешна почти в 98% случаев на этапе внедрения и что уже сейчас стоит сделать пользователям и компаниям. Полная версия статьи "Как взломать Chat GPT и Gemini, создать ложные воспоминания и управлять людьми"

#ии #ииагент #иипомощник #ChatGPT #Gemini #ai #кибератака

ИИ можно взломать не через пароль, а через память | Сетка — социальная сеть от hh.ru