Некоторое время назад разбирал тему безопасности при интеграции llm. Начал с изучения известных практик, отчётов и документации на этот счёт и ушёл довольно глубоко, вплоть до отсутствия постулатов, на которых такая методология могла бы возникнуть.

Автономный агент объединяет недетерминированное рассуждение, persistent memory, tool use и реальные полномочия. Поэтому даже при least agency, sandboxing и policy engine остаются классы риска, которые нельзя полностью устранить контролем вокруг модели: неверная, но правдоподобная цель; ошибочное планирование; легитимное действие с неверным контекстом; каскадная ошибка между агентами; деградация поведения со временем.

К чему это всё. Если вы не бигтех, то наименее затратно, наиболее безопасно и продуктивно положиться на личную ответственность каждого отдельного сотрудника при применении языковых моделей и инструментов основанных на llm.

Если при этом у вас команда разработчиков и вы в ответе за их результат, сочувствую и жму руку. Ко всем прошлым парадигмам и регламентам ложится пачка документации сверху. Вам, как и мне, необходимо освоить то, до чего добрались ребята и включили в свой сетап, после чего либо регламентировать инструментарий описав best practice, либо запретить предложив иной инструментарий или путь.

Легче не станет. Легче станет если забить на фундаментальные принципы. Абсолютно личное мнение.

Вспоминаем старую поговорку, про то, что виновата прокладка. Какая - олды в курсе, держитесь за них ✊