PSM не заменяет A/B в маркетинге. Он просто красиво притворяется, если вы не проверили применимость.
Типичная ситуация: кампанию запустили “на лучших”, рандома нет, нужно понять эффект. В итоге берут propensity score matching, получают аккуратный uplift и несут в бюджет. А через квартал выясняется, что “эффект” был про сезонность, ретаргет и то, что sales добивали лидов руками.
Почему так ломается: PSM чинит только одно смещение — разницу между группами по измеренным признакам до воздействия. Если причина попадания в кампанию сидит в неизмеримом (качество лида, мотивация, скрытый скоринг, активность менеджера, офлайн-канал), то matching выравнивает витрину, но не механизм отбора. Плюс маркетинг любит интерференцию: аудитории пересекаются, пользователи мигрируют, кампании “подсвечивают” друг друга, и эффект становится не про лечение, а про сетевые побочки.
Минимальный стандарт, без которого PSM лучше не трогать:
- Формулируете, кто считается treated и контроль, и запрещаете пост-кампанийные признаки в матчинге. Если признак мог измениться из‑за кампании, он отравит оценку.
- Проверяете overlap: распределения propensity должны пересекаться. Нет общего support — значит вы экстраполируете, а не сравниваете.
- Проверяете баланс после матчинга: по ключевым ковариатам смотрите стандартизированные разницы, не только p-value. Важен не “стало незначимо”, а “стало похоже”.
- Делаете диагностику устойчивости: меняете caliper, способ матчинга, правила trimming и смотрите, не разваливается ли знак и порядок величины. Хрупкий эффект обычно не эффект.
- Валидируете на здравый смысл: плацебо-окна до старта, ложные метрики, сегменты, где воздействия быть не должно. Если “эффект” везде, это не победа, это смещение.
В правильной практике PSM используют как инструмент для аккуратного сравнения похожих людей, когда есть сильные до-кампанийные признаки отбора и понятная механика попадания в кампанию. Граница применимости простая: если ключевые конфаундеры не наблюдаемы или есть массовое пересечение аудиторий и интерференция, PSM будет не анализом, а косметикой. Обычно спорят про “горизонт эффекта”, но чаще ломает не горизонт, а то, что вы лечите не ту болезнь.
