В прошлом посте разбирали систему метрик по трём разрезам: уровням продукта, пути пользователя и связям между метриками. Но тут есть парадокс: метрик может считаться много, а решения всё равно принимаются медленно. Давайте посмотрим, как метрики, наоборот, могут ускорять принятие решений.

1️⃣ Запаздывающая метрика (Lagging metric)

Обычно это ключевая бизнес-метрика, которая фиксируется с задержкой из-за природы бизнес-процесса: длинный цикл сделки, долгий процесс оплаты, длинная атрибуция.

Руководство обычно ставит задачи продакту в терминах бизнес-метрик (метрик роста – выручка, GMV, число заказов), а они по своей природе запаздывающие.

Чтобы грамотно работать с такими метриками, нужно: – валидировать связь с прокси- и опережающими метриками (а для опережающих ещё и скорость их реакции); – валидировать точность прогноза для корректной оценки эффекта.

Об этом и поговорим ниже ⬇️

2️⃣ Прокси-метрика (Proxy metric)   Косвенный показатель, который используют вместо целевой метрики, когда её напрямую отследить сложно. Прокси-метрика не обязана быстро реагировать на изменения в продукте, но должна хорошо коррелировать с главной метрикой, и эту связь стоит подтвердить данными.

Прокси-метрику имеет смысл использовать, когда основная метрика:

– проявляется с большим временным лагом (на моей практике, если дольше недели, то уже долго), и чтобы набрать статистически значимое количество данных для решения, приходится ждать недели или дольше. Например, LTV считается долго, а Retention на 3-5-7 день уже быстрее;

– сильно «шумит», например, из-за сезонности или параллельных активностей вроде акций и распродаж, из-за чего сложно понять, реальный это тренд или разовый всплеск;

– сложно измерима напрямую, например, «формирование устойчивой привычки» не пощупать напрямую, поэтому её измеряют через пороговое поведенческое действие. Пример Slack: команды, обменявшиеся 2 000+ сообщениями, дальше удерживались с Retention около 93%.

Главные свойства хороших прокси-метрик: они привязаны к механизму создания добавочной ценности, поэтому их сложно «накрутить» без реальных продуктовых улучшений, и в паре к ним подобраны заградительные метрики (об этом в следующем посте).   3️⃣ Опережающая метрика (Leading metric)   Метрика, которая быстро реагирует на изменения и имеет понятную причинно-следственную связь с основным показателем. Главная ценность опережающих метрик – сокращение цикла обратной связи: они позволяют спрогнозировать изменение основной метрики до того, как оно фактически произойдёт (если метрика X растёт на Y%, ожидаем рост Z на N%).   Например: число trial-пользователей → число платных через 14 дней.   Многие не проводят чёткой границы между прокси- и опережающими метриками и это справедливо, ведь одна и та же метрика может быть и тем, и другим одновременно. Например, CR в регистрацию может быть прокси для CR в оплату/подписку и одновременно опережающей метрикой для прогноза доходов.   Различить тип метрики поможет вопрос: почему вы смотрите именно на эту метрику потому что основную сложно измерить, или потому что нужна скорость?

В первом случае перед вами прокси-метрика, во втором – опережающая метрика.   CR в регистрацию как прокси для оплаты остаётся ориентиром даже после того, как накопится статистика по оплатам – она всё равно может ещё долго шуметь. А тот же CR, если его используют для прогноза выручки, теряет смысл, как только пришли фактические данные по выручке.

Но получить сигнал быстрее – не значит получить сигнал, которому можно доверять 🥲

Об этом в следующем посте цикла 🔍

#метрики #аналитика #метрикипродукта #product #productmanagment