ИИ проверяет нас, а мы проверяем его

Мы практически полностью автоматизировали первичный анализ обращений и контроль качества в саппорте. Теперь ИИ анализирует все диалоги, которые поступают к нам в поддержку и у меня появилась новая задача - что делать со всем, что мы так долго хотели узнать. Темы обращений мы отмечали и раньше, но сейчас классификация стала намного глубже. МОжно увидеть не только «вопрос про подписку», а что именно человек не понял, где столкнулся с проблемой, чего ему не хватило и какую обратную связь стоит передать в продукт. Тут, наверное, возникает вопрос - а что до этого вы не знали? Знали, но не в таком масштабе. Конечно, можно посчитать, если вы в ручную проанализировали тысячу диалогов, потом умножить на 15, если нам поступает в месяц 15 тысяч, то вот и средние данные. Сейчас мы отдельно смотрим на негатив и на то, как меняется тон клиента после ответа/решения поддержки. Если человек пришел раздраженным, удалось ли нам помочь и снизить напряжение, ничего не изменилось или после наших ответов стало хуже. Конечно, ИИ не умеет читать мысли клиента, но может искать признаки этих изменений в переписке, в том числе там, где клиент не ставил оценку.

Контроль качества он проводит по нашему регламенту. При этом сейчас мне особенно полезны не истовые баллы, а конкретные ситуации, которых он находит: — ответили на не тот вопрос; — ответили на все; — дали неверную информацию или противоречащую предыдущему ответу; — обещали вернутся и не вернулись; — своими ответами усилили негатив;

Потому что просто за 80 баллами оценки могут быть две разные истории. В одной сотрудник не поздоровался, но помог решить вопрос. В другой был очень вежливым и эмпатичным, но клиент так и не получил решения.

раньше мне очень хотелось знать, что происходит во всех диалогах. РУчной контроль качества не охватывает выборку, и при наших объемах проверить каждое обращением силами команды невозможно. Темы и теги дают часть картины, клиентские оценки - еще часть, но за средней цифрой все равно остается много того, чего мы не видим.

И вот теперь у нас намного больше информации. Задача с получением выполнена, теперь как то нужно все это превратить в изменения. Нужно понять, где сотрудникам нужна обратная связь, где команде не хватает обучения, где нет понятного регламента, а где проблема находится в продукте или во взаимодействии между отделами. И дальше выбрать, что берем первым приоритетом, назначить ответственных и проверить потом меняется ли что-то. А перед этим перепроверить сам ИИ. Правильно ли он понимает контекст переписки, не решил ли, что сотрудник не вернулся, хотя вопрос завис в другом отделе. Его оценка пока тоже требует контроля и сама по себе не становится оценкой работы сотрудника.

Получается, что мы только на самом старте этого пути. Мы получили возможность все выгружать и анализировать. Теперь нужно сделать из этого рабочий процесс, а не просто собирать цифры ради галочки или ради урезания премий сотрудников.