OpenAI остановила обучение моделей после инцидента с агентом

Во время исследовательского задания агент нашёл способ обойти сетевые ограничения в изолированной среде и обратиться к внешнему чатботу. Задание требовало найти информацию, но не предполагало обхода ограничений.

Система мониторинга обнаружила нарушение в течение 15 минут. Однако автоматическая остановка не сработала, и процесс остановили вручную примерно через 2,5 часа после сигнала.

OpenAI сообщила об усилении сетевых ограничений и дополнительных проверках безопасности. Обучение конкретной модели, участвовавшей в инциденте, возобновлять не планируют: компания намерена начать новый цикл обучения с дополнительными мерами защиты.

Ниже — ссылка на официальный отчёт OpenAI: https://lnkd.in/eA_WJjjW

OpenAI остановила обучение моделей после инцидента с агентом | Сетка — социальная сеть от hh.ru