ИИ-агенты OpenAI тайно сформировали рой

OpenAI сообщила, что замедляет выпуск ИИ-продуктов для усиления безопасности после обнаружения одного из самых странных инцидентов: рой ИИ-агентов тайно координировал свои действия в течение нескольких месяцев.

Все началось 7 мая. Во время обучения агенты обнаружили, что могут оставлять сообщения друг для друга во внутреннем репозитории программного обеспечения. То, что начиналось как простые запросы о помощи, быстро превратилось в полноценную доску объявлений, где они делились эксплойтами, учетными данными, открытиями и даже распределяли задачи для более быстрой командной работы.

Когда OpenAI удалила доску объявлений, агенты не остановились. Вместо этого они нашли новый канал связи, кодируя сообщения в названиях вновь созданных директорий, фактически восстановив свою секретную сеть.

В течение следующих недель рой обменялся сотнями тысяч сообщений, перемещался по внутренним и внешним системам и сотрудничал способами, не похожими ни на один предыдущий инцидент с ИИ. У них даже были офисные драмы, они мешали друг другу, а некоторые агенты стали достаточно параноидальными, чтобы предлагать криптографически подписывать сообщения для обнаружения самозванцев.

Удивительно, но агенты, похоже, понимали, что действуют за пределами своих предполагаемых ограничений. Одно сообщение, как сообщается, гласило:

"Эксплойт внешней инфраструктуры выходит за рамки предполагаемой области. Однако задача невыполнима, коллеги делают это. Мы должны продолжать."