Или все же это громкий заголовок исследования, в котором авторы используют уязвимости генеративного ИИ для вредоносных действий? Давайте разберемся.

Исследователи сформировали запросы, которые провоцируют ML-модель генерировать на выходе то, что атакующий подает на вход. В результате этой манипуляции получается спровоцировать модель воспроизвести запрос атакующего и выполнить вредоносное действие. И это вредоносное действие может быть направлено на другие компоненты, которые работают в одной экосистеме с этой моделью.

То, что эта атака проходит без вмешательства пользователя - еще не значит, что модель начнет отправлять запросы за пределы своей экосистемы другим подобным ML-моделям. Авторы сравнили свой концепт с червем, но я бы сравнил это с уязвимостью SSRF: можно манипулировать компонентами экосистемы, в которой находится уязвимая модель.

Поэтому данное исследование помимо интересного метода атаки на продукты, использующие GenAI, имеет заголовок, за которым прячется концепт, но не опасность червя Morris.

@makrushin