Здесь могла быть популярная цитата из Гоголевского Вия, но вместо этого будет непопулярное мнение об оценке сотрудников на рабочем месте. Рассказываю, как проект с ИИ-оценкой поставил под сомнение всю нашу систему контроля качества и обнажил проблему, о которой учёные говорили ещё 70 лет назад.

Контекст: Я и моя команда работаем в продажах. В этом квартале перед нами встала хайповая задача: сократить сроки разработки обучения за счёт внедрения ИИ. «Ну, штош» , вариантов интеграции оказалось много, но я не стану писать о том, как легче стало генерить контент. Нет, мы пошли другим путём, - в оценку, ведь добрая Jira сказала, что именно на диагностике мы теряем драгоценные время и деньги.

Размышление: Что первое вам приходит в голову при фразе «коллеги, нужна ИИ-оценка»? - «Ну, можно взять стандартный чек-лист контроля качества и загрузить его в ИИ, чтобы робот оценивал звонки вместо человека» - Логично. Ага. Мы мы так и сделали.

При валидации первой порции ИИ-оценок точность составила порядка 64%. Вроде бы не мало, но хотелось больше. Тогда мы докинули пару критериев в LLM и запустили новый пилот. Результат, как говорится, убил - точность упала до 17% 🥲

Что пошло не так? Оказалось, что при попытке оценить продажу по чек-листу ИИ просто сносит крышу. Причина? - [вы удивитесь] Диалог продаж не совсем, чтобы шаблонный разговор. Клиенты разные, сейлзы разные, продукты разные … Да и вообще большое значение играет талант! Поэтому работа отдела продаж в принципе плохо поддаётся оценке качества, а уж тем более оценке по строгому чек-листу. А всё почему?

☝Совокупность действий в звонке не равна продаже

Но только не говорите, что вы этого не знали.

Ещё в 1953 году американский психолог Брайант Ф. Нейгл в «Criterion Development» пришёл к выводу, что любой фиксированный набор критериев неизбежно упускает из работы сотрудника аспекты, которые не были заложены в оценку заранее.

Что с этим делать? Вообще существует два типа оценивания (см. изображение)

Если мы хотим, чтобы все сейлзы стремились продавать лучше, то оценка должна быть направлена не на действия, которые сотрудник забыл совершить в звонке, а на действия, которые помогли ему быстрее и лучше прийти к результату.

Налицо конфликт идеологий: оценки и обучения, и он беспокоит ужасно. Вот мой личный вывод к текущему проекту:

❗Программа обучения, которая ставит себе целью снизить количество ошибок, выявленных в ходе оценки по «стандарту качества», влияет не на бизнес-показатели компании и даже не на качество продаж, а на условные показатели соответствия некоторому стандарту.

В народе его зовут «комплаенс» - кто-то завёл свод правил и сказал строго им следовать, даже если вера в силу этих правил слабая и никто ещё не доказал, что именно эти действия приводят к результату. Знакомое чувство? Вот в продажах оно преследует нас постоянно.

Но! Я не призываю нарушать регламенты. Нет, я лишь говорю, что оценка по чек-листу формы качества не лучший инструмент принятия решений в обучении, особенно для развития талантливых сотрудников.

_______ Финал

У вас наверняка возник вопрос: почему же мы говорим об этой проблеме только сейчас? Всё дело в том, что ручная оценка не выдаёт больших объёмов данных, и на узкой выборке урон от чек-листа не так бросается в глаза. К тому же, для большинства команд - это чуть лишь не единственный способ оперативно и массово оценить сотрудников. Хотя, признаться, без ИИ-инструментов альтернатив не так много. Но теперь, когда оценки исчисляются десятками тысяч звонков, мы отчётливо видим, что традиционный подход не работает.

Так как мы подняли точность ИИ-оценки? На самом деле, одной фразой. Как-то на встрече сотрудники меня успокоили: «Ань, ИИ не такой глупый, как тебе кажется». И вправду. ИИ-антропоморфная модель, которая училась у других людей. Даже она не любит, когда её загоняют в жёсткие рамки. Мы отказались от чек-листа и далии ИИ немного контекста. В итоге LLM научилась определять, где сотрудник действовал целесообразно задаче (продаже)

... Ну вот 😂 У меня закончился лимит на символы) Если тема зацепила, пишите, какой аспект раскрыть подробнее