CEO приходит к вам и спрашивает, почему метрика не растет? Вот-вот закончится квартал, а 10-ый перезапуск А/В с любимой фичой не приносит закрытия KPI?

Не беда, сейчас я расскажу, как можно подгонять метрики и жить свою лучшую жизнь.

⚠️ Дисклеймер: не стоит повторять дома данный пост носит исключительно развлекательный характер, все совпадения с реальностью случайны

Формулируем «правильную» метрику

❇️ Выбираем показатель, который уже выглядит лучше всего (чаще это «Sessions», а не «DAU»)

❇️ Всегда выбирайте ту метрику, у которой уже есть положительный тренд – даже если рост вызван внешними факторами и никак не связан с вашей работой. Так «успех» гарантирован еще до начала квартала 😉 ❇️ Составная метрика с весами, которые определим ближе к концу квартала, вот пример:

KPI = w1 (визиты) + w2 (средний чек), w1 + w2 = 1

Рост визитов +20%, чек –20%, веса 0.8 / 0.2 => KPI +12%🔥

Технические методы подгона (зовем аналитиков)

1️⃣ Сегмент-Джерри-Мендеринг: нарезаем аудиторию на удобные сегменты, оставляем только те группы, в которых метрика выглядит красиво, а «неудобные» когорты (старые устройства, проблемные регионы, праздничные дни и т. д.) просто исключаем

2️⃣ Скользящее окно подойдет, если у вас был небольшой всплеск метрики: берем окно 1 так, чтобы в нем не было всплеска ➡️ baseline низкий, и берем окно 2 так, чтобы туда попал всплеск с локальным пиком ➡️ сравниваем и закрываем выполненный KPI

также можно взять π-дневное окно, чтобы график выглядел математически солидно

3️⃣ Винзоризация: метод, когда выбросы сжимаются к выбранным порогам (пример: все, что ниже 5-го перцентиля, заменяем самим 5-м перцентилем), как вы понимаете, поднять средний чек этим методом довольно просто

4️⃣ Пересчет знаменателя: добавьте условие на уникальность (синоним "маленький") или какие-то другие условия, уменьшающие знаменатель, скорее всего этот трюк проворачивали даже в таблицах Хамурапи

5️⃣ Turbo p-value dancing: смотрим p-value каждую минуту, останавливаемся при p

Подгон метрик – искусство, во второй части я вас научу, как правильно презентовать KPI и сглаживать углы, чтобы к вам не было вопросов