На демо ИИ летает. А если подключить весь отдел?

На презентации всё красиво: агент находит документ, отвечает на вопрос, готовит сводку. Хочется сразу дать доступ всей компании.

Но что произойдёт, когда утром к нему одновременно придут бухгалтерия, продажи и техподдержка?

Один сотрудник задаст короткий вопрос. Другой загрузит большой документ. Третий попросит собрать информацию из нескольких систем. Пользователей поровну, а нагрузка от их задач совершенно разная.

Причём ждать можно не только саму модель. Задержки возникают при поиске документов, обращениях к базам и корпоративным сервисам. Поэтому покупка дополнительных мощностей не всегда решает проблему.

Для бизнеса последствия вполне понятные: сотрудники тратят время, повторяют запросы, возвращаются к привычной работе вручную. Расходы на ИИ при этом могут продолжать расти.

Что стоит сделать перед массовым запуском?

→ Начать с одного отдела и реальных рабочих задач. Проверить короткие вопросы, длинные документы и запросы к нескольким системам.

→ Договориться, что считаем хорошим результатом: сколько сотрудник готов ждать, какая доля задач должна выполняться успешно и сколько может стоить одна выполненная задача. Первые слова на экране — ещё не готовый результат.

→ Провести нагрузочное тестирование: проверить обычный рабочий день, пики обращений и недоступность связанных сервисов. Посмотреть, сохраняется ли качество ответов под нагрузкой.

→ Устранять конкретную причину задержек. Где-то поможет оптимизация поиска и сокращение лишних обращений. Где-то — фоновая обработка длительных задач с уведомлением о готовности. А где-то действительно нужны дополнительные ресурсы.

→ Расширять доступ постепенно и следить за скоростью, качеством и стоимостью уже в работе.

И ещё: человеку должно быть понятно, что происходит. Задача выполняется? Сервис недоступен? Нужно повторить попытку? Бесконечный индикатор загрузки быстро съедает доверие даже к полезному инструменту.

Для меня готовность корпоративного ИИ к запуску — это возможность предсказуемо выполнять рабочие задачи при ожидаемой нагрузке и понятных расходах.

У вас корпоративный ИИ уже проходил проверку целым отделом или пока им пользуется небольшая группа энтузиастов?

Напишите в комментариях, что мешает расширить использование: скорость, качество ответов, стоимость — или что-то другое.

#ИИ #НагрузочноеТестирование #QA #PerformanceLab

На демо ИИ летает. А если подключить весь отдел? | Сетка — социальная сеть от hh.ru