Когда ИИ технически может взять на себя больше работы, но это не улучшает результат

Я сейчас много смотрю на реальные внедрения ИИ в организациях — и постепенно всё больше внимания у меня забирает вопрос границы автоматизации.

Потому что возможность передать системе некоторую операцию ещё ничего не говорит о том, имеет ли смысл передавать ей весь процесс.

У Т-Банка есть хороший кейс из клиентской поддержки.

Обычная система поддержки работает через определение намерения клиента и запуск соответствующего сценария.

Проблема хорошо известна: человек редко формулирует свой вопрос так, чтобы он сразу укладывался в заранее предусмотренную категорию. Ему приходится что-то уточнять, переформулировать, добавлять контекст, а в более сложных случаях разговор уходит оператору.

Команда Центра искусственного интеллекта Т-Банка проверила, можно ли встроить в этот процесс большую языковую модель. Модель получает возможные варианты намерений клиента, учитывает контекст разговора, задаёт уточняющие вопросы и либо выбирает нужный сценарий, либо передаёт разговор человеку, если имеющейся информации недостаточно или случай оказывается сложным.

То есть сначала здесь происходит вполне ожидаемое расширение автоматизации: система может работать с тем, что раньше плохо помещалось в жёсткое дерево диалога.

Дальше команда сделала то, чего мне часто не хватает в рассказах о внедрении ИИ: проверила более сильную гипотезу экспериментально.

Они запустили А/Б-тест полной замены существующего контура на решение с большой языковой моделью.

И улучшения не получили.

В самой статье это объясняется довольно спокойно: действующая система поддержки создавалась годами, в ней накоплено множество связей и нюансов, которые невозможно заменить одним технологическим компонентом только потому, что он лучше справляется с отдельной частью задачи. После эксперимента команда стала искать те участки процесса, где языковая модель действительно добавляет результат.

Мне здесь интересен более общий вопрос.

Мы довольно часто обсуждаем ИИ через количество работы, которое он способен забрать у человека. Но организационный процесс складывается из операций, правил передачи, накопленного знания, исключений, способов проверки, последствий ошибки и точек, в которых всё-таки требуется решение человека.

Поэтому граница автоматизации проходит совсем не обязательно там, где заканчиваются технические возможности модели. Она проходит там, где начинает ухудшаться результат всей системы.

В случае Т-Банка это хорошо видно буквально на одном эксперименте: языковая модель оказалась полезной для новых контекстных участков клиентского диалога, при этом сложные случаи по-прежнему передаются оператору, а полная замена существующего процесса не дала выигрыша.

И, кажется, отсюда возникает более содержательный вопрос для любой компании, которая сейчас автоматизирует интеллектуальную работу: мы ищем максимум операций, которые способен выполнить ИИ, или ту конфигурацию процесса, в которой совместная работа человека и технологии даёт лучший результат?

Второй вопрос значительно сложнее. Зато он уже про организационный дизайн, а не про возможности модели.

Кейс: Т-Банк, «LLM для автоматизации поддержки», 5 февраля 2025 года. Оригинальная публикация на Habr