Во многих AI-системах контур безопасности заканчивается на входе. Prompt проверили на prompt injection, запрещённый контент и персональные данные — и передали модели. Но безопасный input ещё не означает безопасный output. LLM может вернуть персональные данные из RAG, добавить неподтверждённые факты, нарушить корпоративную политику или сформировать небезопасную команду для другой системы. Поэтому ответ модели нельзя сразу считать готовым результатом. Это недоверенный черновик, который должен пройти отдельную проверку до того, как его увидит пользователь или получит другая система. Здесь важно не смешивать разные уровни защиты. — Контроль доступа отвечает за то, какие данные вообще можно передать модели. — Авторизация действий проверяет, имеет ли агент право отправить письмо, изменить запись, закрыть заявку или провести платёж. — Output guardrails отвечают на третий вопрос: можно ли показать или передать именно тот результат, который сгенерировала LLM? Конечно, правильнее не допустить запрещённые данные в контекст, чем пытаться вырезать их из готового ответа. Но даже при корректных правах доступа результат модели всё равно требует проверки. Для этого между LLM и пользователем размещают слой output validation. Он может сочетать: — проверки по заранее заданным правилам: нет ли в ответе персональных данных или секретной информации, соблюдён ли нужный формат, допустимы ли указанные суммы, даты и параметры, используются ли разрешённые источники, не нарушены ли корпоративные ограничения; — проверки с помощью другой модели: подтверждается ли ответ источниками, не придумала ли LLM факты, нет ли в тексте опасных рекомендаций и соответствует ли результат запросу и правилам компании. По результату ответ можно: — пропустить; — замаскировать; — перегенерировать; — заблокировать; — отправить человеку на проверку. Пока непроверенный ответ LLM может напрямую попасть к пользователю или в корпоративную систему, контур безопасности не замкнут. Какая проверка, на ваш взгляд, должна быть обязательной перед тем, как ответ LLM можно считать готовым для production? #GenerativeAI #AISecurity #AIGovernance #LLM #AIAgents