Эксперимент: Как ИИ преодолел главный вызов оценки управленческих компетенций

Всем привет!

Продолжаю серию постов о том, как мы пытались полностью автоматизировать процесс оценки управленческих компетенций. И сегодня хочу рассказать о двух задачах:

➖Функция контроля "социальной желательности" и повышения достоверности результатов оценки. ➖Автоматизация итогового отчета, с набором конкретных практических рекомендаций по развитию.

Итак поехали: 1️⃣ Один из ключевых рисков в оценке управленческих компетенций — это защитить ее от склонности респондентов давать социально желательные ответы. Это как раз отличает хороший тест от плохого. Хороший тест, это когда ответы составлены таким образом, чтобы не было явных правильных, т.е. заставить респондента стараться отвечать так, как он реально считает необходимым действовать в подобной ситуации. Как решали: Первое как описал выше, это алгоритм формулировки ответов на вопросы. Настроили промт, чтобы исключить явно «правильные» ответы и теперь все варианты выглядят равноценными, но соответствуют разным уровням компетенции.

Нам еще хотелось отдельно понять, насколько искренне отвечает сотрудник в момент тестирования. Для этого решили разработать отдельную «Шкалу искренности респондентов». В каждый из блоков теста добавили контрольный вопрос, который не дает баллов, но выявляет склонность к социально желательным ответам.

Логика следующая: один из вариантов ответа является ожидаемым, в то время как остальные достоверными. В случае выбора ожидаемого ответа в процессе тестирования формируется индекс искренности. По итогам в зависимости от количества ожидаемых ответов система дает рекомендации. Например: результаты требуют дополнительной проверки через интервью или оценку 360°.

2️⃣ После получения результатов оценки HR-специалистам или провайдерам приходится как правило вручную интерпретировать результаты и готовить рекомендации.

Это очень долго и может проходить большое количество времени между оценкой и результатами. Плюс часто рекомендации бывают довольно размытыми и обобщенными. А нам хотелось сделать их максимально конкретными и заточенными под специфику клиента. Плохо получить рекомендации по итогам оценки и не знать, что делать с ними дальше.

Как решали: Во-первых, на входе сформировали табличку с разбивкой мероприятий по шкале оценки и индикаторам, для каждой компетенции. Во-вторых, разработали алгоритм анализа сильных и слабых сторон. По каждому блоку оценки (писал в предыдущем посте) например: «Управление конфликтами и диалогом», система автоматически определяет уровень на основе среднего балла.

На основе алгоритма система определяет зоны развития например: компетенция «Управлении конфликтами» 🔜 средний балл по итогам оценки «Низкий 1» 🔜 Зона развития: «Избегаете сложных переговоров, есть недостаток знания методики разрешения споров 🔜Далее формируется персонализированная рекомендация по развитию уже на основе нашей таблички с разбивкой мероприятий. Ключевая фишка то, что отчет формируется сразу по результатам оценки и его не надо ждать.

Что получили в итоге: ➖ Шкалу искренности ответов респондентов и рекомендации, как повысить объективность оценки. ➖ Мгновенные персональные рекомендации по развитию, максимально конкретные и адаптированные под требования заказчика. ➖ Экономия ресурсов, не нужно вручную интерпретировать сырые данные.

Инструмент можно использовать в связке с ассессмент-центрами и оценкой 360°, чтобы получить более объективную картинку.

В следующем посте напишу ключевые выводы, что получилось, а что требует еще контроля со стороны пользователя, а также сколько мы экономим затрат в сравнении с ручной разработкой.

#HRtech #ОценкаПерсонала #ИскусственныйИнтеллект #РазвитиеКомпетенций #ЦифровойHR