Если объясняете рост метрики “просто средним” — выводам нельзя доверять.
Классика: промо, новый канал, “освежили” онбординг — и общий CR/ARPU/retention вырос. В презентации появляется фраза “в сегменте А среднее выше, значит он дал рост”. Через месяц всё откатывается, команда спорит, а решение уже принято. Цена ошибки простая: вы приписываете эффект продукту/маркетингу, хотя рост мог быть обычным сдвигом состава аудитории.
Механика ломается из‑за смешения двух разных вещей: 1) сегмент занял большую долю в трафике (mix, эффект доли) 2) внутри сегмента реально улучшилось поведение (within, эффект внутри). “Рост = среднее” игнорирует то, что среднее — это сумма вкладов, взвешенных долями. Меняете доли — меняете итог даже без улучшений. А если сегментация плавает (переопределили каналы, обновили атрибуцию, люди мигрировали между когордами), вы ещё и сравниваете разные сущности под одним названием.
Минимальный каркас, чтобы не самообмануться:
- Разделяйте вклад на две части: эффект доли сегмента и эффект внутри сегмента. Сначала ответьте: рост пришёл потому что сегмент стал больше, или потому что стал лучше.
- Фиксируйте базовый период и держите его в расчёте. Любая “точка отсчёта” меняет историю, особенно при сезонности и промо.
- Проверяйте стабильность сегментации: одинаковые правила отнесения, одинаковые источники, отсутствие массовых “переклассификаций” задним числом.
- Смотрите на вклад, а не на уровень: высокий уровень метрики в сегменте не означает большой вклад в рост, если доля маленькая или падает.
- Делайте sanity-check: общий рост должен собираться из вкладов сегментов без “магии” и остатка, который вы не можете объяснить.
В правильной практике разбор роста выглядит скучно: таблица вкладов, отдельно mix и within, явный base period, и заметка о том, не менялись ли правила сегментации. Обычно спорят не про формулы, а про то, что считать сегментом и когда можно менять его определение. Граница применимости простая: если сегменты неустойчивы или их нельзя воспроизвести, декомпозиция превращается в красивую иллюзию.
