В прошлом посте разбирал, почему A/B-тест часто не получается провести. Теперь о том, что использовать вместо него.

1️⃣ Поэтапная выкатка

Суть: изменение включают волнами, например, по регионам, и те, кто его ещё не получил, служат временным контролем. С feature flags можно выкатывать по долям аудитории (5%-20%-50%-100%) и оставить после выкатки небольшую группу без изменения (holdout) для замера долгосрочных эффектов.

Плюсы (далее +): снижает риск запуска и даёт данные для его оценки.

Минусы и подводные камни (далее -): нужно внимательно продумывать группы. Если первым пойдёт самый лояльный регион, разница будет искажена. Порядок волн лучше выбрать случайно и зафиксировать заранее.

2️⃣ Разность разностей (Difference-in-Differences)

Суть: сравнивают, как изменилась метрика в группе с фичей и в похожей группе без неё за тот же период. Например, после запуска новой корзины в Петербурге конверсия там выросла на 4 п.п., а в остальных городах за тот же месяц – на 1 п.п. из-за сезонности. Значит, эффект корзины около 3 п.п.

Когда подходит: рандомизация невозможна, но есть группа без изменения и исторические данные.

+: убирает часть фоновых трендов и исходных различий между группами. -: работает, только если до запуска метрики в обеих группах двигались параллельно.

3️⃣ Switchback

Суть: изменение включают и выключают сразу для всех пользователей поочерёдно в коротких временных окнах (например, по дням) в случайном порядке, а затем сравнивают метрики в окнах «вкл.» и «выкл.». Так, например, сервис доставки может чередовать старый и новый алгоритм распределения заказов.

Когда подходит: если есть сетевые эффекты.

+: группы не влияют друг на друга. -: требует инфраструктуры для переключения по расписанию и не подходит для изменений, которые пользователь заметит: интерфейс или цены, меняющиеся день ото дня, выглядят как сбой. Также эффект одного окна может переноситься на следующее: если новый алгоритм перегрузил курьеров в понедельник, это скажется и на вторнике.

4️⃣ Когортный анализ

Суть: сравнивают новых пользователей, пришедших до и после изменения, на одинаковом сроке жизни.

Когда подходит: изменение раскатили на всех сразу, контрольной группы нет.

+: не нужны ни контрольная группа, ни инфраструктура для тестов. -: всё, что совпало с релизом по времени (сезонность, рекламная кампания), исказит результат.

5️⃣ Качественные исследования

Суть: UX-тесты и интервью с 10-15 пользователями. Например, показываете прототип, исправляете найденные проблемы и следите за ключевыми шагами после релиза. Подробно я писал здесь.

Когда подходит: мало пользователей или нет инфраструктуры.

+: находит ошибки до запуска и объясняет, почему пользователи ведут себя определённым образом. -: не стат. значимые данные.

6️⃣ Пилоты

Суть: изменение запускают у ограниченной группы клиентов и собирают глубокую обратную связь.

Когда подходит: изменение дорогое, рискованное или требует внедрения на стороне клиента.

+: качественная обратная связь и ранние сигналы. -: в пилот обычно соглашаются лояльные клиенты, поэтому результат стоит считать оптимистичной оценкой.

7️⃣ Опережающие метрики

Суть: смотрят на метрику, которая предсказывает целевую. Подробно писал здесь.

Когда подходит: длинный цикл сделки или отложенные эффекты.

+: решение можно принять за недели вместо месяцев. -: связь с целевой метрикой нужно подтвердить на исторических данных, иначе легко растить показатель, который ни на что не влияет.

8️⃣ Fake Door Test

Суть: в интерфейс добавляют кнопку функции, которой ещё нет и считают клики.

Когда подходит: нужно проверить спрос до разработки.

+: почти не требует и инфраструктуры и разработки. -: показывает интерес, но будут ли функцией пользоваться не скажет. Пользователь, нажавший на кнопку, может разочароваться, поэтому его нужно предупредить, что функция в разработке. Об особенностях этого метода напишу пост.

Сохраните эту подборку методов, чтобы знать, как действовать в следующий раз, когда A/B-тест провести не получится 📂

#принятиерешений #эксперименты #fakedoor #fakedoortest #switchback