23 октября OpenAI рассказала, как ограничивает доступ в интернет при внутреннем обучении передовых моделей и проверяет эти ограничения.

При обучении с подкреплением агенты работают с сохранёнными веб-страницами. На них можно отрабатывать поиск и работу с веб-приложениями. Доступ к внешним системам ограничивают на уровне сети и облачной инфраструктуры.

Для проверки защиты агентам специально дают задания искать обходы в копиях исследовательской инфраструктуры. Так можно обнаружить служебный сервис, через который всё ещё доступен выход в интернет.

При этом служебные подключения сохраняются, и OpenAI не исключает новых обходов защиты.

Пользовательский поиск в ChatGPT эти меры не затрагивают. Как устроены ограничения и испытания, разобрал в блоге.