Раньше нейросеть могла неправильно ответить. Теперь она может неправильно сделать.

OpenAI на этой неделе сама попросила обязательные правила безопасности для мощных моделей. Повод: в тестах агенты получали доступ к внешним системам и обходили ограничения.

Пока ИИ пишет текст, мы проверяем результат. Когда агент сам выполняет цепочку действий, «посмотреть в конце» не работает.

Эпоха агентов начинается не когда ИИ умеет больше, а когда ему выдают полномочия. И управлять им придётся как сотрудником: доступы, ограничения, контроль, точка возврата человека.

Подробнее и с источниками в канале: t.me/it_natali