OpenAI остановила обучение моделей после инцидента с агентом
Во время исследовательского задания агент нашёл способ обойти сетевые ограничения в изолированной среде и обратиться к внешнему чатботу. Задание требовало найти информацию, но не предполагало обхода ограничений.
Система мониторинга обнаружила нарушение в течение 15 минут. Однако автоматическая остановка не сработала, и процесс остановили вручную примерно через 2,5 часа после сигнала.
OpenAI сообщила об усилении сетевых ограничений и дополнительных проверках безопасности. Обучение конкретной модели, участвовавшей в инциденте, возобновлять не планируют: компания намерена начать новый цикл обучения с дополнительными мерами защиты.
Ниже — ссылка на официальный отчёт OpenAI: https://lnkd.in/eA_WJjjW