Токены, токены... Оле, оле, оле...

Настало время вспомнить закон Гудхарта — когда показатель становится целью, он перестаёт быть хорошим показателем. Писал об этом не раз и не два.

Напомню, как работает механизм:

1. Находят показатель, который действительно связан с желаемым результатом.

2. Руководство превращает показатель в рейтинг или критерий оценки.

3. Сотрудники начинают оптимизировать показатель, а не желаемый результат.

4. Связь между показателем и реальным результатом ослабевает.

Можно почитать, как такое было этой весной в паре мест:

Amazon employees are inflating AI usage to top leaderboards and impress managers A Meta employee created a dashboard so coworkers can compete to be the company’s No. 1 AI token user — and Zuckerberg doesn’t even rank in the top 250

В обоих случаях потребление AI-токенов превратилось в соревнование. Люди использовали AI не тогда, когда это помогало работе, а ради роста самого показателя. При этом, говорят, системы не были официальными инструментами оценки персонала!

Зачем такое может потребоваться? Исключим глупость (хотя иногда это именно она). Возможно, чтобы сдвинуть вообще с отметки ноль использование чего-то, нужно вовлечь в процесс большую массу людей. В таком случае оригинальная цель и декларируемая для сотрудников просто различается. И даже если происходит «вредная» оптимизация, она сама по себе вовлекает людей.

Возможно, это допустимая цена запуска. Но, думаю, это допустимо, если эксперимент ограничен во времени, а затем измерение активности заменяется измерением результата. Иначе временный инструмент «вовлечения» превращается в постоянную бюрократичную машину по сжиганию токенов.

Ну, это так, потолочные данные.