После прогона я понял, что честных цифр «до» и «после» у меня нет. Поэтому не буду приписывать решению эффективность в процентах: могу показать, что именно изменил в подходе к правам.

Это особенно важно для Конвейера новостей об ИИ (ночью собирает и проверяет новости об ИИ и готовит пост дня для Telegram): он обращается к внешним источникам. Тут недостаточно попросить агента не делать лишнего - нужно заранее определить доступы и точки, где решение остаётся за мной.

Задача. Понять, какие действия агенту разрешены при работе за пределами тестовой среды, а какие нельзя отдавать ему без контроля человека.

Что было в цифрах. У меня нет замера ошибок, попыток выйти за рамки или сэкономленного времени. Доказать эффект цифрами пока не могу.

Что сделал. Перенёс принцип ограничения из промпта в код: если агенту не выдан ключ, у него нет соответствующего доступа. Действия, которые нельзя тихо отменить, должны проходить через человека. А для ночной работы нужен след действий, чтобы утром можно было разобраться, что произошло. 🔎

Что стало в цифрах. Ничего измеримого не изменилось - сравнения до и после у меня нет. Изменился сам порядок контроля: доступ выдаётся явно, необратимое действие требует подтверждения, сбой не должен оставаться незамеченным.

Что сделал бы иначе. Завёл бы список выданных прав в первый день, до первого прогона. Ключ не защищает, если доступ слишком широкий, а кнопка бесполезна, если её нажимают не глядя.

Кому подходит такой подход. Тем, кто запускает ИИ-агента во внешней среде и не может наблюдать за каждым его шагом. Начать стоит с перечня доступов, действий и того, что обязательно должен подтвердить человек.

Разобрал по шагам здесь: ИИ-агенты пытаются взламывать банки: что я поменял у своих. Живые примеры я складываю в витрину кейсов

Какие права вы бы оставили своему агенту, а какие - только человеку?