📊 Метрики - это не просто цифра

В сегодняшней статье хотел бы взглянуть на метрики с разных сторон.

🎈1. Метрики не плоские, а объемные Как правило метрики это не просто одна цифра. Если говорим про какое-то среднее значение, то оно рассчитано на основе набора отдельных значений. Соответственно метрика - это некоторое распределение значений, в распределение могут быть разные сегменты, которые могут вести себя по разному. В выборке могут быть выбросы.

Вы можете посчитать одну и ту же метрику в разные периоды времени и получить одинаковое среднее значение, но можно ли утверждать, что метрика не изменилась?

Нет, т.к. могла измениться структура сегментов метрики или могли появиться выбросы, но среднее может не измениться. Поэтому всегда важно помнить, что метрика это не просто плоская цифра, метрика - это объем.

📐2. Точечная и интервальная оценка метрики Например, вы посчитали конверсию 2 вариантов страницы. В первом конверсия 3/100 = 3%, а во втором 300/10000 = 3. Можно ли считать, что метрики одинаковые? С точки зрения точечной оценки да.

Но если мы через эти метрики хотим оценить параметры в ГС, то нам понадобиться доверительный интервал. Там где мало наблюдений, первый вариант, доверительный интервал будет более широкий, т.е. оценка будет менее точная, а там где 10000 наблюдений интервал будет более узкий и точный.

🚣🏾‍♂️ 3. Метрика - это процесс Как правило метрика сама по себе лишена смысла. Для того чтобы она обрела смысл нужно её с чем-то сравнить, либо посмотреть её в динамике. Метрика обладает динамикой и отражает реальные процессы, поэтому нужно смотреть метрику в динамике.

🔜 4. У метрик есть скорость реагирования Этот пункт вытекает из предыдущего. Т.к. метрика это процесс, то процесс может быть долгим, а может быть быстрым. Например, чтобы оценить retention надо ждать нужный период времени, а что бы оценить конверсию в первую покупку достаточно выдержать время закрытия окна конверсии в когорте. Соответственно важно помнить про это когда выбираете метрики для оценки продуктовых изменений.

⚖️ 5. Trade-off (баланс) метрик Одна метрика не может быть хорошим инструментом для оценки ситуации. Всегда должны быть еще несколько метрик, которые будут помогать держать баланс в продукте. Например, вы выкатили новую фичу с целью повысить повторные продажи в отдельном сегменте пользователей, допустим повторные продажи выросли, вроде классно?

Но если посчитать метрику среднее число обращений в тех поддержку на пользователя, то эта метрика тоже выросла и у нас выросли затраты на обслуживание, которые перекрывают доходы от новой фичи. Если бы мы смотрели только на метрику продаж, то думали бы все классно и в итоге могли загнать бизнес в убыток.