Безопасность агента должна жить вне агента

Самая полезная идея в новой Open Agent Safety Platform от NVIDIA — контроль агента не должен зависеть от самого агента.

OpenShell выносит ограничения исполнения, доступ к сети, данным и учётным данным во внешнюю среду. А Sentry добавляет ещё один независимый уровень наблюдения: отдельный watchdog может остановить агент, если тот выходит за заданные границы.

Для архитектуры это существеннее очередного набора prompt-правил. Если компонент способен самостоятельно вызывать API, запускать код и менять системы, его контрольный контур должен находиться за пределами его собственного процесса и не зависеть от того, насколько хорошо модель следует инструкции.

Получается знакомый принцип разделения control plane и workload, только теперь применённый к агентам.

Источник: NVIDIA, Open Agent Safety Platform, 28.09.2026 — https://nvidianews.nvidia.com/news/open-agent-safety-platform

#Архитектура #ИИ #Безопасность #AIАгенты #NVIDIA

Безопасность агента должна жить вне агента | Сетка — социальная сеть от hh.ru