«Проверить гипотезу без A/B» — красный флаг, если вы называете этим один метод

Обычно это звучит так: «Трафика мало», «релиз нельзя тормозить», «цена уже в проде», «маркетинг хочет решение сегодня». И дальше появляется магическая фраза: «проверим без A/B». Если не уточнить режим проверки, вы почти гарантированно перепутаете эффект с шумом, сезонностью, акциями и изменением аудитории. Цена ошибки простая: вы закрепляете неправильное решение как “доказанное”, и потом месяцами спорите с метриками.

Без A/B не значит “без дизайна”. Это значит, что вы выбираете другой источник причинности и честно платите точностью: либо контролем, либо временем, либо охватом данных.

Карта альтернатив на практике выглядит так:

  1. Наблюдательные сравнения (до/после, когорты, воронки) Подходит для продуктовых изменений и маркетинга, когда важна скорость. Нужны стабильные определения событий, сегменты, разметка каналов, календарь факторов (праздники, кампании, релизы). Ограничение: эффект легко спутать с внешними изменениями.

  2. Квази-эксперименты (difference-in-differences, synthetic control, регрессии с контролями, interrupted time series) Подходит, когда есть “похожая” контрольная группа или хороший временной ряд: новые фичи по регионам, маркетинг по гео, изменение правил коммуникаций, иногда прайсинг. Нужны длинные ряды, заранее выбранные контроли, проверка параллельных трендов и отсутствие одновременных крупных изменений. Ограничение: модель красивая, но ломается от скрытых факторов.

  3. Эксперименты “по кускам” (geo-тесты, holdout в CRM, отключение части канала, budget split) Чаще всего это маркетинг и перформанс, иногда retention-механики. Нужны независимые единицы воздействия, единая атрибуция, дисциплина в спенде и запрет “подливать” вручную. Ограничение: дорого, медленно, и легко испортить перетеканием аудитории.

  4. Продуктовые прототипы и smoke-тесты (фейковые кнопки, лист ожидания, ручная операция) Подходит для продукта и монетизации, когда проверяете спрос и поведение, а не финальную метрику. Нужны качественная телеметрия, единые правила показа, защита от самоотбора и четкий критерий успеха до запуска. Ограничение: вы меряете намерение и ранние сигналы, не LTV.

Как заранее объяснять точность, чтобы потом не было скандала

  • Говорите, что именно идентифицируем: эффект или корреляцию
  • Называйте главный риск смещения: сезонность, состав аудитории, одновременные изменения
  • Фиксируйте, какая “единица воздействия” и что считается контролем
  • Договаривайтесь, какая метрика считается решающей, а какая только сигналом
  • Пишите вывод в формате: “вероятно работает при таких условиях, не доказано для таких”

Правильная практика без A/B — это не “хак”, а честный контракт: какой режим проверки, какие данные нужны, какие ограничения принимаем. Обычно спорят не про формулу, а про то, готовы ли вы жить с этой неопределенностью до следующего более чистого эксперимента.