...при внедрении ИИ.

Хотите убить любую хорошую инициативу в компании? Привяжите к ней KPI. Звучит жёстко, но именно об этом я подумала, когда прочитала новость.

Amazon решила ускорить внедрение искусственного интеллекта внутри команды и запустила рейтинг использования ИИ. Расчет был на то, что сотрудники начнут соревноваться между собой, чаще использовать ИИ и эффективность работы повысится.

Сначала всё было отлично. Частота использования ИИ росла как на дрожжах.

А дальше случилось вот что: сотрудники начали генерировать запросы просто ради активности в системе и рейтинга. Скоро бессмысленных запросов стало так много, что они создали серьёзную нагрузку на инфраструктуру и кратно увеличили расходы.

В итоге Amazon пришлось отключить дашборд с рейтингом, признав поражение... И доказав (вполне ожидаемо) закон, который Чарльз Гудхарт описал еще в 1975 году:

💡Когда показатель становится целью, он перестаёт быть хорошим показателем. Потому что сотрудники начинают работать не на результат, а на саму метрику.

Саботаж? Не соглашусь. Это нормальная реакция думающих людей на правила игры, которые создала сама компания. Самое забавное, что руководители сами создают эту ловушку. Они искренне хотят улучшить результат: придумывают показатель ➞ привязывают к нему мотивацию ➞ сотрудники начинают "играть" в этот показатель. А потом руководство удивляется, почему метрики растут, а бизнес - нет.

И если вам кажется, что это проблема только Amazon, я вас разочарую. Регулярно вижу похожие истории в разных компаниях, где нет ни искусственного интеллекта, ни миллиардных бюджетов.

Вот свежий пример из продаж: недавно работала с компанией, где РОП, увидев связь между выполнением плана и talking time ("время на линии"), включил сейлзам в KPI этот показатель. Как думаете, ему удалось повысить продажи? Ни на рубль. Зато новый KPI выполняли все😏 Просто менеджеры нашли пару телефонов с роботами-автоответчиками и звонили на них, чтобы закрыть недостающие минутки для KPI.

В маркетинге то же самое происходит с трафиком. Если успех сайта оценивать только по количеству кликов, контент быстро становится кликбейтным. Трафик растет, а число реальных покупателей или время, проведенное на сайте, стремительно падает.

В образовании закон Гудхарта тоже работает. Если качество работы школы оценивать только по средним баллам на экзаменах, начнется «натаскивание» на тесты вместо полноценного обучения.

Во всех этих случаях происходит одно и то же. Метрика, которая должна помогать управлять процессом, постепенно превращается в цель сама по себе. А дальше недалеко и до фальсификации, когда данные напрямую подделываются ради красивого отчета.

Поэтому внедрение KPI рекомендую начать с этих вопросов: 1️⃣ что сотрудники будут делать, чтобы получить нужную цифру? 2️⃣ точно ли мы улучшим результат, а не подтолкнем команду научиться лучше играть в систему оценки?