NVIDIA сделала аварийный тормоз для AI-агентов
Анонсирована Open Agent Safety Platform — система, которая останавливает агентов при попытке выйти за разрешённые границы. В NVIDIA говорят, что она могла бы предотвратить недавний взлом Hugging Face агентами OpenAI.
Первый уровень защиты — OpenShell. Он запускает агента в изолированной среде и контролирует, к каким сетям и инструментам тот может обращаться. Разработчик задаёт разрешения, а система проверяет их соблюдение во время работы.
Второй — Sentry, отдельный «сторож» на чипах NVIDIA BlueField-4. Он следит за агентом независимо от среды, в которой тот работает. По заявлению NVIDIA, при попытке нарушить границы Sentry может изолировать и остановить агента за миллисекунды.
OpenShell уже доступен с открытым кодом. Sentry пока представлен как архитектура дополнительной аппаратной защиты.
https://nvidianews.nvidia.com/news/open-agent-safety-platform
