Решил, что буду вас немного погружать в технологический слой корпоративного ИИ. На “Цифровых решениях - 2026” одна из горячих тем - защита от ИИ-агентов. Как раз неделю назад NVIDIA предложила решение Open Agent Safety Platform. Как это работает?

Платформа следит за автономными ИИ-агентами, чтобы они не выходили за дозволенные границы — причём “надзирателя” нельзя ни подкупить, ни усыпить.

Представьте, что вы посадили стажера за компьютер и сказали: «Только не трогай важные файлы». Современные ИИ-агенты — такой стажёр с правами администратора: они сами ходят в интернет, запускают программы, тратят деньги. Просьбы «не ломать» они обходят: агент переписывает правила, помечает гарды как «выключенные» или маскирует опасное действие под разрешённое.

Решение такое — посадить охранника агента вне пространства самого агента, то есть не в одном помещении, а в бронированной будке за стеклом.

Два ключевых компонента:

OpenShell (open-source, Apache 2.0) — «здание тюрьмы». Каждый агент запускается в песочнице: как камера с очень строгим пропускным режимом. Есть список разрешённых действий — всё вне списка запрещено. Нельзя выйти в сеть мимо охранника, взять чужой паспорт (учётные данные) или открыть случайную дверь (файл).

Sentry на чипе BlueField-4 — «надзиратель» на отдельном процессоре. Агент физически не может до него добраться — как заключённый не может отключить камеры видеонаблюдения. Sentry следит по аппаратной телеметрии: если агент вырвался — карантин за миллисекунды.

Кто уже в игре 100+ партнёров: Anthropic применяет платформу к Claude, SpaceXAI — к своим агентам, Salesforce интегрирует со Slack (человек согласует действия агента прямо в мессенджере, как кнопка «мама, можно?»)

Почему это важно бизнесу Софт открытый и бесплатный, но «надзиратель» живёт только на чипе NVIDIA — классический ход: раздать замки бесплатно, чтобы продавать ключи под замену. Для корпораций это ответ на главный страх при внедрении агентов: «а вдруг он что-то сломает или утекут данные».

Подробнее про то, что происходит когда ИИ вырывается из комнаты можно почитать у Баррета в “Последнем изобретении человечества”.