Если вы объясняете рост метрики фразой «выросло среднее» — выводам нельзя доверять.
Классика: запустили промо, поменяли ставки в каналах, обновили онбординг. Общая конверсия или ARPU выросли, и дальше начинается магия: «в сегменте А лучше, в сегменте B хуже, в среднем плюс». Через неделю выясняется, что эффект “исчез”, бюджет перетек, а продуктовые решения приняли на шуме. Цена ошибки простая: вы путаете реальный эффект с cohort-mix и сами себе рисуете причинность.
Механика всегда одна: общая метрика по сегментам — это взвешенное среднее. Значит, изменение общего значения складывается из двух разных вещей:
- эффект доли сегмента: стало больше “сильных” сегментов или меньше “слабых”, и среднее сдвинулось без улучшений внутри
- эффект внутри сегмента: действительно поменялось поведение/качество/экономика в каждом сегменте при фиксированных долях
Минимальный стандарт декомпозиции, чтобы не самообмануться:
- Зафиксируйте базовый период и держите его как опору. Сравнение «сегодняшние веса на вчерашние средние» и наоборот даст разные истории. Выберите одно правило и применяйте везде.
- Разложите рост на два компонента: вклад изменения долей сегментов и вклад изменения метрики внутри сегментов. Если сумма вкладов не сходится с общим изменением, вы анализируете не то.
- Проверьте стабильность сегментации. Те же пользователи должны попадать в те же сегменты по тем же правилам. Любая смена логики, атрибуции, окна, дедупликации превращает “вклад сегмента” в артефакт.
- Контролируйте покрытие и “прочее”. Рост сегмента «прочие/unknown» — красный флаг качества данных или трекинга. Он часто объясняет “рост среднего” лучше, чем продукт.
- Отдельно отмечайте сегменты, которые появились/исчезли. Новые каналы, новые когорты, миграции трафика — это сначала про mix, и только потом про эффект.
В правильной практике итог звучит не «среднее выросло», а «рост объясняется вот так: столько-то из-за перераспределения долей, столько-то из-за изменений внутри ключевых сегментов, остальное — погрешность/непокрытие». Обычно спорят про выбор базового периода и порядок применения эффектов, но спор должен быть про метод, а не про удобную историю.
Граница применимости: если метрика не агрегируется как взвешенное среднее (например, медианы, перцентили, сложные ratio-of-ratios), сначала приведите её к корректной декомпозиции, иначе “вклад сегмента” будет ловить форму распределения, а не изменения поведения.
