Тщеславные CSI / NPS не сделают корпобучение эффективнее
Я бы сказала, что они бесполезные, но наверняка кто-то со мной не согласится 😊
Представьте картину: График с красиво растущими от программы к программе (или стабильно высокими) показателями NPS на фоне ниспадающей культуры, текучки и тотального выгорания команд. Мне это напоминает актера, который болен, с температурой, а его нарядили и просят сыграть на сцене.
Сама удивилась такой метафоре, как точно она подошла)
Так и в обучении: можно нарядиться в красивые цифры, но если внутри болит - толку с такого обучения не будет.
А у вас тоже NPS обучения чаще высокий: 80, 90 или даже у кого-то бывает 95-98%?
В таком случае, спрошу вас, знаете ли вы ответы на эти вопросы: Что изменилось в поведении участников обучения? А в их результатах? А вы это измеряете? А эти изменения можно измерить?
Если большинство ответов «нет/не знаю», то не переживайте, значит у вашего обучения есть вторая жизнь и вы можете повлиять на его эффективность! (Если будете мерить то, что нужно).
CSI и NPS это самые частые метрики обучения в корпоративной среде. Участники ставят 8, 9, 10 (если вообще ставят). Отчет выглядит красиво. Бюджет защищен. Все счастливы.
Кроме бизнеса.
Потому что через полгода:
- Руководители не стали лучше делегировать - Звезды продолжают уходить - А компания словно все еще готовится к выстрелу
В чем подвох?
NPS измеряет удовольствие от процесса, а не изменение в поведении. Нельзя мерить эффективность обучения этой метрикой.
Человеку может быть весело на тренинге. Он может любить тренера, а может просто по химии не сойтись. Он может поставить 10, а может 3. По настроению. Но вернется в офис - и в большинстве случаев будет делать ровно то же, что и раньше, и вот самые частые причины:
- Ему не дают применять новое (страшно, некогда, не с кем) - Система не изменилась (те же процессы, те же барьеры, те же коллеги) - Его инициативы по-прежнему не слышат -Учим не так, и не тому, и не тем тренером, не тем форматом - Ну и безответственность или скептицизм самого участника:)
Так как же измерить эффективность обучения и без чего обучение не сможет быть эффективным никогда?
Я бы шла такой последовательностью:
1. Снимать барьеры, мешающие применять новое поведение. T&D - не сервис, а стратегический партнер. Если мы видим барьеры, которые не можем снять сами, - мы не молчим. Выносим на уровень бизнеса и помогаем разрешить. В идеальной ситуации - только потом учим (в жизни - это идет в параллели).
2. Мерить не «нравится / не нравится», а «использую / не использую или почему не использую», а дальше разбираться почему не использую.
3. Измерить было/стало. Минимальный вариант: опрос как я делаю это до обучения / что я начал делать иначе через месяц? Максимальный: управляемая система оценки по навыкам / компетенциям и результатам.
4. Бизнес-показатели - если обучение было про продажи, давайте смотреть продажи, а не смайлики в оценках NPS и CSI.
Для меня оптимальный вариант это диалог с вопросом не «как вам тренинг?», а «что из этого вы применили в работе через месяц?»
Если ответ «ничего» - значит, вы просто провели корпоратив с флипчартом (кому-то скучный, кому-то веселый). Но с любым ответом можно работать и выйти на решение, которое сделает ваше обучение эффективным.
Вопрос T&D-шникам: А вы какие метрики по обучению несете на стол топ-команде?
Считали ли когда-то ROI от корпоративного обучения? (больше интересуют затраты на софт / управленческое обучение)? И что сказали бы топ команде если бы он был отрицательным? 😊
· 18.04
Расскажу о своем опыте.
Когда я работала в Точке, то мы разработали систему метрик в моем отделе :
1. Скорость выхода на плановые показатели в конверсиях у новичков за период адаптации.
2. Сдача теста и сложных вопросов с первого раза.
3. Отстуствие критичных ошибок на период испытательного срока.
4. Для опытных были отдельные метрики и дашборды. Обычно считали эффективность так у группы обученных должен быть прирост в показателях на Х. Смотрели на дельту обученных и не обученных.
5. Бонусом в штате был аналитик, который создавал по запросам тренеров дашборды и защищал перед бизнесом наши результаты. Обучал нас тому, как проводить эксперименты и работать с данными.
Однажды меня спросила коллега из смежного отдела, Даша, а ты измеряешь NPS и CSI? А я в недоумении… зачем ?
У меня бизнес заказчик просто в восторге летят метрики наверх. Конверсии после тренингов растут.
В целом валидно. Самую главную цель-то я достигла, но уже перестав быть джуном я стала понимать, что если бы у меня еще были чувствительные метрики оценки меня на тренинге, то я бы могла еще улучшить результат.
Например в был бы пунктик про изложение инструкций от 1-10 насколько вам было понятно?
Условно, если я выдаю невроятные результаты при 5 из 10, что станет при 10 из 10??
Поэтому мое мнение такое:
1) с бизнес заказчиком нужно обсуждать ключевую метрику, на которую мы работаем
2) как мы будем отслеживать и где это наблюдать это движение
3) с какой фокус группой мы работаем
4) тренер дает материал, помогает его понять и выдает инструкции/ методолгию, но задача РОП сделать так, чтобы сразу после тренинга у нас сотрудники пошли применять новые знания
5) мы имеем ресурс и возможность проверить % применения - роботами, дашбордами, ропами для контроля и оценки
6) метрики тренера для оценки себя любимого и перепроверки ( что он сам здесь хочет достичь )
Как правило в этой системе часто все ломается на этапе применения и компаниям нужно либо ставить тренера над ропом и наставлять его как наставлять менеджеров и микроменеджментить либо использовать инструменты ии для автоматической прослушки ( применяют или нет ) и отработки навыка ( ии-тренажеры )
Тогда у нас замкнется эта модель оценки по Филлипсу и Киркпатрику.
А вообще, в бизнесе часто все любят скидывать отвественость с друг друга. Когда представители T&D начинают считать эффективность они часто приходят к выводам, что как раз в их зоне ответственности все ок, а вот в других подразделениях стоит пересобрать процессы и может быть договориться о каком-то SLA.
И вот мы в такой точке, что к обучению стекается куча метрик:
1) NPS, CSI - общая оценка
2) Тестирование - для обучений по фичам
3) Опросы вроде готовы ли применять вот это - изменение мышления
4) Кейсы, отработка в ии-тренажерах - понимание, применение, навык, автоматизация
5) прослушка звонков - понимание, применение, навык
6) Рост показателей измеримый в деньгах, сроках сделки и тд
В этой воронке метрик можно увидеть на ком ломается процесс и где чинить.
Ну и отдельно:
Бизнес смотрит в бизнесовые метрики. HR - в свои. Насколько было комфортно идти по треку обучения и не хотелось уволиться в процессе.
А обучаторам предстоит сварить такой суп, чтобы угодить всем и усидеть на всех стульях.
Мой опыт говорит о том, что бизнесовые метрики на первом месте. Деньги растут - ты молодец. Все остальные метрики условно второстпенны, но ты сам должен понимать почему, за и чего случился успех и КАК его воспроизвести.
Финальный итог: есть оновной костяк обязательных метрик подлежащих сбору, а есть изюминки, которые добавляете в основной рецепт. И рекомендуется аналитик в команду тренеров, который не только будет строить отчеты, но и помогать тренерам обосновывать из результат для бизнеса.
Про отрицательный ROI
У меня была однажды такая задачка, где мы нагенерировали убытки. Это была гипотеза и она себя не отработала. Сотрудники начали применять методологию, но она генерила убытки. Тут была проблема в методологии - она была гипотезой и как правило их не надо сильно раскачивать пока она тестируется.
Второй факап тоже был с гипотезой и она не отработала. Я в таких случаях говорю, что в разработке и маркетинге в среднем выстреливает 3 из 10 гипотез, а в обучения в год не выстреливает 1-2.
Поэтому мы должны вывод сделать и тестировать гипотезы и методолгию тщательно до масштабирования ( как тест новой фичи ), а не ставить сразу на раскатку срочно на всех.
По-честному, если мы в любую функц зону придем с аудитом, то найдем там массу решений с отрицательным ROI. Вопрос, а есть ли динамика улучшения ? Измеряет ли ее команда и что делает, чтобы уменьшать долю ошибок и непопулярных решений ?
Поэтому и должны быть метрики, которые нам эту дельту покажут. Если у тренера от месяцу к месяцу растет результат при падающем рынке - это титан.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён