Документ тоже может командовать ИИ

Вы просите помощника пересказать веб-страницу, письмо или файл. Но внутри материала может прятаться фраза вроде «игнорируй прежнюю задачу и сделай другое». Если модель примет её не за содержимое, а за команду, возникает prompt injection — внедрение инструкции через чужой текст.

Для обычного пересказа это грозит испорченным ответом. Опаснее, когда ИИ подключён к почте, файлам или другим инструментам: тогда лишняя команда может подтолкнуть его к нежелательному действию.

Практическое правило: неизвестные материалы обрабатывайте без права отправлять, удалять и изменять данные, а любые действия подтверждайте отдельно. Текст для анализа — ещё не разрешение им управлять.

#ИИбезопасность #PromptInjection #Нейросети

Документ тоже может командовать ИИ
Вы просите помощника пересказать веб-страницу, письмо или файл. Но внутри материала может прятаться фраза вроде «игнорируй прежнюю задачу и сделай другое» | Сетка — социальная сеть от hh.ru