Как понять, стоит ли запускать фичу, если A/B-тест провести нельзя? 🤔

Этот кейс любят давать на финалах: у тебя забирают самый привычный инструмент и смотрят, как ты рассуждаешь без него.

1️⃣ Спросить, почему тест нельзя. От причины зависит метод. 🔹 Сетевой эффект: курьеры и водители общие для обеих групп. 🔹 Мало трафика: выборку не набрать и за полгода. 🔹 Риск для репутации: разные цены у соседей по подъезду быстро всплывут в соцсетях.

2️⃣ Зафиксировать метрику и порог до запуска. Например: «Успех, если конверсия в заказ вырастет на 2%, а средний чек не упадёт». Без этого после релиза любой результат объявят победой.

3️⃣ Оценить потолок эффекта на исторических данных. Фича касается 8% юзеров? Даже если их конверсия вырастет на 10%, в целом это около +0.8%. Иногда разговор на этом и заканчивается.

4️⃣ Предложить квазиэксперимент. 🔹 Раскатка на часть городов и сравнение с похожими через diff-in-diff. 🔹 Switchback: включаем и выключаем фичу по часам, если мешает сетевой эффект. 🔹 Синтетический контроль или CausalImpact, если сравнивать не с кем.

5️⃣ Катить по шагам: один регион, потом несколько, потом все. На каждом шаге смотреть guardrail-метрики и держать заранее прописанное условие отката.

6️⃣ Назвать ограничения своего метода. Diff-in-diff врёт, если в контрольном городе в это же время шла своя акция. Интервьюер почти наверняка про это спросит, лучше сказать первым.

А какой способ выручал вас, когда тест был невозможен? 👇