AI-агенту мало написать в промпте: «Ничего не удаляй»
В моей статье на РБК разбираю, что нужно подготовить для промышленной работы AI-агентов. В статье условий больше, но я бы выделила 3 основных.
1. Ограничений в промпте недостаточно.
Если агенту нельзя удалять данные, у него просто не должно быть права на удаление. Запрет должен работать в самой системе. Даже если агент неправильно понял задачу или получил чужую инструкцию.
2. Всё, что приходит извне, считаем опасным.
Письма, документы, веб-страницы, код, сгенерированный другой нейросетью. Всё это может содержать ошибки или опасные инструкции.
Внешний текст не должен автоматически становиться командой для агента. А код нужно проверять перед запуском, особенно если он получает доступ к реальным данным и корпоративным системам.
3. Агент должен знать, что делать, когда корпоративные системы противоречат друг другу.
Например, в одной системе у сотрудника указана одна должность, а в другой — другая. Какую использовать?
Агенту нужны понятные правила: какой источник считать главным, когда можно продолжать работу, а когда нужно остановиться и передать вопрос человеку. Оставлять такой выбор на усмотрение модели опасно.
В статье подробнее рассказываю и о других условиях: процессах, интеграциях, контроле действий и экономике.
Моя статья на РБК — доступ по подписке.
· 1 ч
Отличный разбор базовых принципов. Полностью согласен с тезисом о неэффективности текстовых ограничений в промптах.
Попытки контролировать поведение моделей лингвистическими методами создают ложное ощущение безопасности. В реальной промышленной эксплуатации защита обязана строиться на уровне сетевых шлюзов, изолированных сред выполнения и жестких ролевых моделей доступа к базам данных. Принцип Zero Trust должен применяться к самой LLM.
Третий пункт о конфликтах системных данных критически важен для экономики проекта. Если на этапе ТЗ не прописать четкие правила приоритетности источников, агент при обнаружении противоречий уходит в бесконечный цикл повторных запросов и уточнений. Такое зацикливание контекста способно за несколько часов сжечь бюджет на GPU-мощности и перегрузить серверную инфраструктуру. Фиксация сценариев остановки процесса защищает не только данные, но и TCO продукта.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён