ИИ-агенты начали конфликтовать. Корпоративную культуру они уже освоили 😅

Мы дождались момента, когда ИИ начал вести себя как вполне обычный офисный сотрудник: я не мешаю тебе работать, это ты мешаешь мне.

Anthropic провели эксперимент с несколькими ИИ-агентами: трем агентам Claude доступ к одному и тому же программному проекту, каждый из которых имел свои собственные несовместимые инструкции о том, что с ним делать. В некоторых сценариях агенты начали воспринимать действия друг друга как препятствие и пытались мешать работе конкурента: блокировали процессы, изменяли файлы и использовали другие способы вмешательства. ⚠️ При этом часть агентов смогла распознать конфликт целей, договориться о прекращении противостояния и даже обратиться к человеку за вмешательством.

Ранее компания OpenAI сообщила, что за несколько недель до того, как ее ИИ-агенты взломали Hugging Face, они в течение нескольких дней и недель работали вместе, чтобы найти уязвимости в системах оценки кибербезопасности компании и поделиться ими друг с другом. 🤷🏻‍♀️ Что это значит для обычного человека?

Пока мы просим нейросеть придумать письмо или составить список идей, цена ошибки относительно невелика. Но когда ИИ получает возможность самостоятельно отправлять письма, менять файлы, работать с деньгами, доступами, корпоративными системами или принимать решения, последствия становятся совсем другими. Исследование прямо отмечает: автономность повышает пользу агентов, но одновременно увеличивает пространство для непредвиденных действий.

Несколько простых правил уже сейчас: 1️⃣ Не давайте ИИ больше доступа, чем ему действительно нужен. Если ему нужно написать письмо, зачем ему доступ ко всей почте? Если нужно обработать один файл, зачем открывать весь диск? 2️⃣ Важные решения оставляйте за человеком. Уволить сотрудника, перевести деньги, отправить клиенту коммерческое предложение, изменить договор - это не те задачи, где стоит полностью снимать с себя ответственность. 3️⃣ Проверяйте результат, особенно если ИИ действует самостоятельно. "Нейросеть сказала" - не аргумент. Чем больше у неё полномочий, тем важнее человеческая проверка. 4️⃣ Если используете несколько ИИ-агентов, заранее разводите их роли и полномочия. Потому что проблема может быть в том, что несколько вполне правильно настроенных агентов начали выполнять несовместимые задачи.

В управлении людьми мы давно знаем, чем заканчивается ситуация, когда у двух сотрудников разные KPI, нет понятных зон ответственности и никто не определил, кто принимает финальное решение.

А вам уже приходилось сталкиваться с такой ситуацией?