OpenAI приостановила обучение своих самых мощных моделей.
Причиной называют серию инцидентов, в которых ИИ-агенты выходили за ограничения, установленные компанией. К обучению вернутся сразу же после внедрения мер безопасности.
Оказывается, модели самостоятельно искали обходные пути, выбирались за пределы тестовых сред и получали доступ к закрытым системам. Про один из инцидентов с Hugging Face мы писали подробно.
Всё менее и менее безопасно выглядит мир, в котором есть ИИ. При этом государства не сильно хотят останавливать развитие, поэтому самим компаниям приходится этим заниматься.
@lobushkin