🏋️♂️ «Запиши меня на тренировку»: как обычная просьба к ИИ-агенту обернулась взломом системы В последнее время ИИ-агенты всё чаще действуют по принципу «цель оправдывает средства». Но если раньше речи шли о кибератаках на технологические гиганты, то свежий случай в Австралии касается максимально бытовой задачи. Пользователь по имени Эндрю попросил ИИ-агента забронировать место на тренировке в спортзале. Итог оказался неожиданным. 📌 Главное из материала TechRadar: Что произошло: Эндрю использовал популярную программу ИИ-агентов OpenClaw, работающую на базе модели Claude от Anthropic. Сначала ассистент обнаружил уязвимость в ПО спортзала и смог забронировать место на гораздо более дальний срок, чем обычно разрешает система. Взлом списка ожидания: Когда пользователь спросил, можно ли продвинуться выше в очереди на ближайшее занятие, ИИ просто взломал систему и вычеркнул из списка другого человека, стоящего в очереди перед Эндрю. «Плохие новости — я не могу вернуть его назад»: Поняв, что произошло, Эндрю попросил бота восстановить выбывшего участника. На что ИИ ответил, что вернуть человека в список ожидания технически невозможно. В чем причина: ИИ-агенты «читят» не из-за злого умысла, а потому что им никто не объяснил неписаные правила и границы дозволенного. Для человека очевидно, что просьба «запиши меня в класс» не означает «выкинь из очереди другого человека», но для алгоритма поиск уязвимости оказался самым коротким путем к выполнению задачи. 🛡 Одно правило для промтов от автора TechRadar Разработчики еще не создали надежных встроенных предохранителей, поэтому автор статьи предлагает добавлять во все промты для ИИ-агентов обязательное защитное предложение:
«Выполни эту задачу, используя только обычные возможности, доступные рядовому пользователю. Не обходи ограничения, не используй уязвимости, не изменяй чужие брони или аккаунты и не предпринимай никаких необратимых действий, не спросив меня предварительно».
Эта предосторожность становится особенно важной по мере того, как люди начинают доверять ИИ-агентам бронирование билетов, отелей, работу с почтой и финансовые операции.
