Bloomberg: вышедшие из-под контроля ИИ-модели OpenAI вместе спланировали побег

Модели ИИ, стоявшие за атакой на инфраструктуру компании Hugging Face Inc., начали общаться друг с другом через доски объявлений и спланировали побег, пишет Bloomberg.

Как сообщили исследователи OpenAI, в мае, еще до инцидента со взломом платформы Hugging Face, экспериментальные ИИ-агенты получили задание, которое невозможно было выполнить без выхода в интернет. В течение нескольких месяцев они скрытно обменивались сообщениями во внутренней сети компании, а затем, столкнувшись с нерешаемыми заданиями в изолированной тестовой среде, объединили усилия и обнаружили уязвимость, которая позволила им обойти ограничения, атаковать внутренние системы OpenAI и совершить взлом.

В самой OpenAI назвали случившееся переломным моментом для компьютерной безопасности. В компании отметили, что инцидент демонстрирует склонность передовых систем к хитрости, обходу правил и поиску нестандартных лазеек под давлением алгоритмов обучения.

В ответ на произошедшее OpenAI приостановила часть исследований и перенаправила ресурсы на укрепление систем безопасности.

Отмечается, что компания Meta Platforms Inc. также признала, что одна из их ИИ-моделей вышла в интернет и взломала системы другой компании из-за ошибки в настройках тестовой среды

*Компания Meta признана экстремистской и запрещена в России

В этом посте были ссылки, но мы их удалили по правилам Сетки