🔎 Скрытая команда в исковом заявлении. Новый вид манипуляции с ИИ

В Бразилии адвокаты придумали довольно необычный способ повлиять на рассмотрение дела. Прямо в исковое заявление они встроили скрытую инструкцию для ИИ. Текст напечатали белым шрифтом на белом фоне, чтобы человек не видел его

Инструкция предписывала ИИ поверхностно оспорить иск и не опровергать приложенные доказательства. Суд обнаружил эту манипуляцию и оштрафовал двух адвокатов на 10% от цены иска

В информационной безопасности такой приём называется промпт-инъекция. Это попытка заставить ИИ выполнить чужую инструкцию, спрятанную внутри документа или другого источника данных

*Мы привыкли проверять документы на подделки, недостоверные сведения и скрытые условия. Теперь придётся учитывать и то, какие команды может обнаружить в них искусственный интеллект

Получается, документ может быть одновременно юридическим доказательством для человека и инструментом атаки на алгоритм. И судебная практика уже столкнулась с этой проблемой*