AI-процесс должен иметь чёткие границы автономии

В проектах по автоматизации я всё чаще вижу одну и ту же ошибку: компании стараются дать AI как можно больше самостоятельности, но почти не думают о том, где он должен остановиться.

Технически агент может сам написать клиенту, изменить данные в CRM, запустить следующий этап или провести операцию. Но возможность это сделать ещё не означает, что бизнес готов доверить ему такое действие.

Поэтому мы стараемся заранее разделять: что AI может делать сам, где нужен контроль и какие действия ему вообще запрещены.

Причём смотрим не только на тип действия, но и на цену ошибки. Подготовить черновик и самостоятельно изменить условия сделки — совершенно разные уровни риска.

Ещё один важный момент — лимиты. Если в логике произошла ошибка, лучше, чтобы агент мог отправить неправильный ответ десяти клиентам, а не тысяче.

Для меня хорошая агентная система — это не максимальная автономность. Это система, которая знает границы своих полномочий и умеет вовремя остановиться.

AI-процесс должен иметь чёткие границы автономии | Сетка — социальная сеть от hh.ru