A/B - тесты и Бизнес-ценность (MDE)
Вы запустили A/B-тест. Результат: «Не значим». Вы хороните преимущество. И теряете миллионы. Нужно чувствовать MDE)
Бизнес: Интернет-магазин. Конверсия 5%. Придумали новую кнопку. Внедрение стоит 1 млн рублей. Средний чек — 2 000 рублей. Трафик — 100 000 человек в месяц. Вопрос: тестим?
Шаг 1. Считаем, какой эффект нам нужен Конверсия выросла на 1 процентный пункт — с 5% до 6%. Что это даёт: — 100 000 × 1% = 1 000 дополнительных покупок. — 1 000 × 2 000 = 2 млн рублей дополнительной выручки. — При маржинальности 50% — 1 млн рублей прибыли. Ровно отбили внедрение. В ноль.
Значит, MDE = +1 п.п. — минимальный эффект, ради которого игра стоит свеч. Всё, что ниже — шум. Всё, что выше — прибыль.
Шаг 2. Ставим параметры теста Мы хотим спать спокойно: — α = 0.05 (не внедрить пустышку). — Мощность = 80% (не пропустить рабочую кнопку). Калькулятор говорит: Нужно по 30 000 человек в группу. Контроль и тест — 60 000.
Шаг 3. Включается реальность Трафик — 100 000 в месяц. Набрать 60 000 чистыми — почти 2 месяца. Конкуренты начали внедрять аналог, некогда. Давай за две недели.
Пауза: в этот момент включается интеллект и принимается взвешенное решение:
Шаг 4. Разбор сценариев Сценарий А. Идеал. — MDE = +1% — α = 0.05 — Мощность = 80% — Выборка = 30 000 в группе. — Время сбора — 2 месяца. Вердикт: надёжно. Если время терпит — делать.
Сценарий Б. Быстро, слабый эффект. Решили ускориться. Набрали по 10 000. Оставили MDE = +1%, α = 0.05. Калькулятор: мощность = 35%. Перевод с языка статистики: — Кнопка реально даёт +1%. — Вы увидите это только в 35% тестов. — В 65% тестов вы закопаете работающую фичу. Вердикт: бессмысленно. Выбрасываем хорошие идеи чаще, чем находим.
Сценарий В. Быстро, сильный эффект. Не можем собрать 30 000? Ок. Проверяем только сильные изменения. Фиксируем: выборка = 10 000, α = 0.05, мощность = 80%. Калькулятор выдаёт: MDE = +1.8%. Что это значит: — Кнопка с эффектом +1% — вы её не заметите. — Кнопка с эффектом +1.8% и выше — заметите с вероятностью 80%. — Бизнес-то окупается уже с +1%. Но тест такие слабые улучшения не ловит. Вердикт: тест заточен только на сильные ходы. Слабые, но полезные — мимо.
Сценарий Г. Быстро, рискнуть. Готовы чаще ошибаться, лишь бы не пропустить пользу. Фиксируем: выборка = 10 000, MDE = +1%. Поднимаем α до 0.10. Мощность вырастает до 50%. Перевод: — Шанс увидеть хорошую кнопку — 50% (было 35%). — Плата за это: 10% тестов покажут эффект там, где его нет. — Внедрите пустышку. Вердикт: компромисс. Чаще видим хорошее, чаще наступаем на грабли.
Сводная:
Сценарий А. 30 000 в группе. Идеал. Надёжно. Долго. Сценарий Б. 10 000. Мощность 35%. Кладбище хороших фич. Сценарий В. 10 000. MDE 1.8%. Ловим только жирные улучшения. Сценарий Г. 10 000. α 0.10. Рискуем внедрить мусор.
Инсайт: Маленькая выборка — не приговор. Приговор — не знать MDE и мощность своего теста.
Если трафика мало — выбирайте осознанно: — Или ловите только сильные эффекты (рекомендую). — Или чаще ошибайтесь с ложными срабатываниями. — Или отложите тест.
