Вы раскатили новый релиз мобильного приложения и смотрите на главный сводный дашборд. Результат разочаровывает: ключевая метрика активности изменилась с 15.0 до 15.2 целевых действий в день (+1.3%). Статистический тест показывает полное отсутствие значимости.

Команда признает релиз провальным и готовится откатить изменения, а менеджмент сворачивает проект.

Но что, если на самом деле этот релиз спасает миллионы рублей выручки, а агрегированный график просто скрывает прорыв?

Добро пожаловать в статистический феномен гетерогенности эффекта воздействий (Heterogeneous Treatment Effect) и ловушку разбавления эффекта при агрегации.

ИЛЛЮЗИЯ “НУЛЕВОГО” РЕЗУЛЬТАТА НА ОБЩЕМ ДАШБОРДЕ

На сводном графике картина выглядит полностью статичной:

До релиза: 15.0 целевых действий на пользователя в день После релиза: 15.2 целевых действий на пользователя в день Общее изменение: +0.2 действия (+1.3%, стат. незначимо)

Поверхностный вывод кажется очевидным: «Релиз ничего не изменил, фича не работает, откатываемся назад».

РАЗРУШЕНИЕ ИЛЛЮЗИИ: ЧТО НА САМОМ ДЕЛЕ ПРОИЗОШЛО В СЕГМЕНТАХ?

Стоит нам провести декомпозицию и разбить этот плоский график отдельно по платформам Android и iOS, как открывается яркая гетерогенность эффекта:

1. Android: кратный взрыв активности с 1.13 до 23.63 действий в день (+1995% роста!). 2. iOS: стабильный высокий уровень (рост с 24.00 до 24.10 действий в день).

ПОЧЕМУ ОБЩИЙ ГРАФИК ПОКАЗЫВАЛ НОЛЬ? (ЭФФЕКТ СДВИГА СОСТАВА ВЫБОРКИ)

В Causal Inference этот эффект называется Composition Shift Bias (смещение от изменения состава группы):

На старте раскатки пользователи iOS составляли 90% обновившейся выборки (у них автообновление включено по умолчанию). Их огромный фоновый уровень в 24 действия полностью разбавил еще только начавшийся прирост на Android, превратив кратный прорыв на Android в незаметный “+1.3%” в общем котле.

В ЧЕМ ЗАКЛЮЧАЮТСЯ НЕОЧЕВИДНЫЕ БИЗНЕС-ИНСАЙТЫ?

1. Опасность убийства спасительных решений Если бы команда приняла решение по общему дашборду и откатила релиз, она бы вернула Android-пользователей в состояние технического сбоя (1.13 действий в день), уничтожив миллионы рублей потенциальной выручки.

2. Выявление технического барьера вместо UX-провала На Android приложение до релиза зависало при попытке завершить операцию. Багфикс полностью оживил платформу. На iOS сбоев не было, поэтому там метрика осталась на стабильно высоком уровне.

3. Прямые финансовые потери от задержки обновления Поскольку Android-пользователи обновляются медленно, каждый день промедления без принудительного обновления (Force Update) стоил компании ~22.5 нереализованных транзакций на каждого пользователя.

ЧЕК-ЛИСТ ПРОДАКТА ДЛЯ ЗАЩИТЫ ОТ ОШИБОЧНЫХ ОТКАТОВ

1. Не отбрасывайте релизы по агрегированному нулю: Плоский график на общем уровне часто означает не отсутствие эффекта, а размытие огромного успеха одного сегмента другими (Effect Dilution). 2. Оценивайте гетерогенность эффекта (HTE): Проверяйте любой результат в разрезе платформ (Android vs iOS), типов устройств и стажа пользователей. 3. Учитывайте Adoption Lag: Учитывайте разную скорость обновления аудитории. Первичная выборка обновившихся всегда смещена в сторону самых активных устройств. 4. Отделяйте спасение сегмента от общего масштабирования: Если эффект сконцентрирован на одной платформе, направьте усилия на Force Update и локальное развитие этого сегмента, а не на глобальный откат проекта.