Последние несколько месяцев я много работаю с метриками и вот что понял.
Свалиться в одну из ловушек метрик невероятно легко.
И только за счет постоянных аудитов, вопросов и системного подхода, можно хоть как то этого избежать.
Решил проресерчить, чего стоит избегать в первую очередь:
1 Закон Гудхарта Когда показатель становится целью - он перестаёт быть хорошим показателем, потому что люди начинают оптимизировать цифру, а не реальность за ней.
2 Эффект Кобры Когда попытка решить проблему через стимул или запрет делает её хуже, потому что люди приспосабливаются к правилу, а не к его цели.
А называется он так, из-за истории в колониальной Индии: британское правительство ввело награду за каждую убитую кобру, чтобы сократить их популяцию. И их начали разводить ради награды. Когда программу отменили, фермеры выпустили ненужных змей на волю и кобр стало больше, чем до введения награды.
3 Корреляция и причина Два показателя могут расти вместе не потому, что один влияет на другой, а потому что оба тянет какой-то третий скрытый фактор.
4 Процесс и результат Хороший результат не доказывает хорошего решения, и плохой результат не доказывает плохого. Можно сделать всё правильно и проиграть из-за невезения, и наоборот, принять глупое решение и выиграть случайно.
Сделал шпаргалку с основными моментами.
