Когда A/B невозможен: главный красный флаг — вы рисуете контрфакт “как-нибудь”, а потом верите цифре.
Типичная ситуация: запуск уже выкатили на всех, рынок тряхнуло, рекламные бюджеты перераспределили, а “эффект” всё равно нужно назвать. И вот появляется квазиэксперимент на коленке или синтетический контроль “потому что модно”. Цена ошибки — вы принимаете продуктовые решения, которые на самом деле объясняются сезонностью, параллельными изменениями или тем, что “контроль” не был контролем.
Механика ломается всегда одинаково: вы пытаетесь ответить на “что было бы, если бы мы не сделали X”, но ваши наблюдения без рандома уже заражены отбором и внешними шоками. Квазиэксперименты держатся на предпосылках про сравнимость и тренды, синтетический контроль — на том, что из доноров можно честно собрать похожий мир в до-периоде, и этот мир не развалится в момент воздействия.
Шпаргалка выбора и минимальный стандарт:
- Если есть естественная граница воздействия (порог, дата, регион, очередь, rollout) — сначала ищите квазиэксперимент. Там идентификация обычно прозрачнее, а провалы видно по диагностике.
- Если “контроль” разъехался с “тестом” ещё до запуска (разные тренды, разные сезоны, разная чувствительность к акциям) — DiD и похожие подходы дадут красивую, но пустую оценку.
- Синтетический контроль имеет смысл, когда есть длинный стабильный до-период, богатый пул доноров и нет массовых параллельных изменений, которые ударят по всем одинаково и по-разному одновременно.
- Проверка качества контрфакта обязательна: совпадение до-периода, плацебо-тесты (ложные даты/ложные группы), чувствительность к составу доноров/окна времени, и негативные метрики, которые не должны реагировать.
- В отчёте обязаны быть артефакты, без которых оценка не считается: схема дизайна (кто, когда, что считается воздействием), таймлайн внешних событий, графики до/после, диагностика параллельных трендов или качества fit, список проверок робастности, и честный список угроз (спилловеры, предвосхищение, изменения измерения, смещения в составе).
Правильная практика выглядит скучно: сначала доказываете, что контрфакт похож на реальность до запуска, потом показываете, что вывод переживает альтернативные настройки, и только затем обсуждаете эффект. Граница применимости простая: если нет адекватного “мира без изменения”, синтетический контроль не “спасёт”, а квазиэксперимент превратится в историю про корреляции. Обычно спорят не про метод, а про то, где именно у вас порвалась предпосылка.
