Недавно обсуждали с клиентом результаты одного AI-проекта. Команда была довольна: модель отвечала очень хорошо. Точность высокая, тесты пройдены, примеры выглядят убедительно.

Но когда начали разбирать процесс целиком, оказалось, что бизнес почти не почувствовал изменений. После ответа AI сотрудник всё так же открывал CRM, переносил данные вручную, создавал задачу, согласовывал результат и отправлял письмо клиенту. То есть AI свою работу выполнял отлично. А вот скорость процесса почти не изменилась.

Вообще это одна из самых частых вещей, которые я вижу в проектах. Люди смотрят на качество ответа и думают, что это главный показатель успеха. Но для бизнеса хороший ответ сам по себе мало что значит. Важно другое: что произойдёт после этого ответа. Сколько ручной работы исчезнет? Сколько времени реально удастся сэкономить? Станет ли сотруднику проще принимать решения? Ускорится ли процесс для клиента?

Потому что иногда AI сокращает свою часть работы с часа до минуты, а весь процесс как занимал два дня, так и продолжает занимать два дня. И тогда проблема уже не в модели.

Проблема в том, что автоматизация остановилась слишком рано. Поэтому в проектах мы обычно стараемся оценивать не качество ответа AI, а качество всего процесса после его появления. В конце концов бизнес покупает не красивые ответы, а результат.