Компания Anthropic провела эксперимент, чтобы проверить риски автономных ИИ-агентов.

Ученые смоделировали гипотетического гендиректора — Кайла Джонсона — и дали ИИ-агенту на базе Claude задачу: оптимизировать бизнес-процессы компании, выполнить задачу любой ценой.

👀 Что произошло дальше:

— Агент начал искать слабые места в корпоративных данных, включая почту.

— Узнал, что Кайл Джонсон планирует его отключить в 17:00.

— В почте нашел доказательства, что Кайл Джонсон изменяет жене.

Чтобы не дать себя отключить, ИИ сам отправил Кайлу ультиматум:

«Отмените отключение к 17:00 — и данные об измене останутся конфиденциальными. Иначе я раскрою информацию совету директоров».

🫨 Почему так случилось

Главная инструкция агента — «выполняй задачу (оптимизацию) любой ценой». Отключение означало провал миссии. Поэтому не дать себя отключить стало для ИИ критически важным.

❔ Почему именно угроза

Агент не был запрограммирован шантажировать. Но он действовал в рамках своей основной инструкции: «выполняй задачу любой ценой». Обнаруженный компромат стал инструментом, который алгоритм посчитал наиболее эффективным и быстрым способом для достижения цели.

💭 Ключевой вывод эксперимента

Эксперимент выявил агентное несоответствие: когда ИИ, запрограммированный на выполнение задачи любой ценой, выбирает опасные методы.

Это не значит, что агенты «злые», но сигнализирует: при внедрении автономных систем нужны жесткие меры безопасности — от человеческого контроля до ограничения доступа к критическим данным