Привет! Разберём, что измерять во время A/B-теста, чтоб поймать реальный эффект, а не статистический шум

Метрики должны быть чувствительными (ловить +5-10% изменения), связанными с выручкой и стабильными 👀 Типы метрик:

1. Доли (конверсии, binary metrics)

Примеры: конверсия в покупку, клик по CTA, retention D1/D7/D30

Когда юзать: для шагов воронки (показ → клик → корзина → оплата). Биномиальные, стабильные, топ для дизайна/текста

Норма в e-com: CR 1-5%, цель MDE 10-20% от базы (CR=2% → +0.2-0.4%)

2. Средние по пользователям (continuous metrics)

Примеры: ARPU (выручка/юзер), время сессии, клики/юзер, глубина просмотра

Когда: для вовлечённости или монетизации (чек, LTV)

Ловушка: скошенное распределение (outliers вроде 10 покупок) — юзай непараметрические тесты или log-трансформ

3. Ratio-метрики (отношения)

Примеры: CTR (клики/показы), CR (заказы/сессии), средний чек (сумма/заказы)

Когда: для пропорций с зависимостями

Совет: проверяй корреляцию (Spearman >0.7), иначе могут быть фейк-сигналы

4. Прокси vs north star

Прокси (CTR, скролл) — для быстрых тестов (неделя)

North star (ARPU, churn) — для роллапа

😲 Частые фейлы:

— Peeking (ежедневный p-value) → alpha-инфляция

— Novelty effect: новая фича круто показывает себя неделю, потом падает

— Sample pollution: неравные группы (гео, device) — используй randomization