Офлайн-эксперимент без параллельного контроля: если у вас только «до/после», выводам почти всегда нельзя доверять.
Сценарий знакомый: поменяли цену, выкладку, скрипт в колл-центре, правила доставки. Через месяц смотрим выручку/конверсию «до» и «после» и делаем вывод «сработало». Проблема в том, что в офлайне мир не стоит на месте, а бизнес любит объяснять любой шум как эффект.
Почему «до/после» ломается: вы сравниваете не две версии решения, а два разных мира. Сезонность, тренд, промо конкурента, погода, праздники, смена трафика, логистика, даже новая смена продавцов. Плюс классика: регрессия к среднему (после аномально плохой недели почти всегда будет “лучше” даже без изменений) и изменения измерения (по-другому начали считать, иначе стали заводить статусы, подтянули справочники).
Параллельный тест (контроль и тест одновременно) не делает магии, но отсекает большую часть этой «истории»: внешние факторы бьют по обеим группам в одно и то же время, и вам остаётся разница, а не погода в отчёте.
Минимальный стандарт: когда «до/после» всё-таки можно защищать
- Окно короткое и предсказуемое по сезонности, а решение не требует “раскачки” неделями. Чем длиннее период, тем больше чужих причин.
- Есть контрольный ряд, который не затронут изменением, но живёт в том же мире: похожие точки/города/смены/категории. Не «в среднем по сети», а максимально сопоставимый контрфакт.
- Вы смотрите не одну точку “до” и одну “после”, а минимум несколько периодов до изменения, чтобы видеть тренд и выбросы. И честно показываете, что тренд не сломался раньше.
- Метрики и пайплайн измерения зафиксированы: определения, фильтры, правила атрибуции, источники. Любая правка учёта в середине убивает интерпретацию.
- Есть guardrails, которые должны вести себя «скучно» (трафик, доступность, out-of-stock, SLA). Если guardrails поехали, это не эффект, это смена условий.
В правильной практике «до/после» выглядит как квази-эксперимент: контроль рядом, несколько периодов до, понятные допущения, и готовность сказать «не знаем», если допущения не держатся. А если ставка высокая или вмешательство меняет поведение постепенно (бренд, лояльность, операционные процессы), то без параллельного контроля лучше не обещать причинность — только наблюдение.
