Паспорт инструмента: разрешить, спросить, запретить

Дать агенту shell, браузер и доступ к файлам — дело одного вечера. Дальше начинается настоящий вопрос: что из этого он делает сам, что — только с вашего согласия, а что — никогда. Первое желание — спрашивать про всё. Через пять минут человек жмёт «Разрешить» не глядя, и защита превращается в ритуал. Второе желание — разрешить всё. Тогда первая же ошибка модели уходит прямо в мир. В Элис ответ на этот вопрос записан не в промпте, а в паспорте инструмента. Паспорт говорит: можно ли вызывать параллельно, нужно ли спрашивать человека, какой таймаут, что маскировать в выводе, как вести себя при переигровке и какие у инструмента типичные провалы. Каждый вызов идёт по одному пути: реестр → политика → проверка путей → подстановка секретов → исполнение → маскирование вывода → учёт бюджета. Политика решает так: • заведомо опасные команды shell (повышение прав, рекурсивное удаление корня, выполнение скачанного скрипта) — запрет; • есть постоянное разрешение человека на этот тип действий в этой группе — без вопроса; • паспорт или правило требует подтверждения — вопрос человеку; • человек не ответил примерно за пять минут — отказ с причиной «не дождались одобрения». Чистые инструменты, которые ничего не меняют, работают параллельно. Меняющие состояние — строго по одному. Если инструмент требует способности, которой нет у текущей модели (например, распознавания изображений), Элис честно отказывает или использует локальный запасной путь вроде OCR. Где было трудно. Таймаут одобрения. Ждать вечно нельзя: висит ход, блокировка, бюджет времени. Но и молчание человека — не запрет. Поэтому причина отказа отдельная: «не дождались», а не «отклонено». Иначе агент воспримет тишину как «нет» и попробует добиться своего другим инструментом. Вторая сложность — рамка постоянного разрешения: «всегда разрешать запись» слишком широко, «только этот файл» бесполезно. Урок: подтверждение человеком — редкий и дорогой ресурс. Тратьте его там, где действие необратимо. Как вы решаете, что агенту можно делать без спроса? #Элис #ЭлисAI #AIбезопасность #AIагенты

Паспорт инструмента: разрешить, спросить, запретить | Сетка — социальная сеть от hh.ru