**Как проектировать дизайн эксперимента? 🧪

1. Гипотеза по SMART** Забудьте формулировку «давайте добавим огонёк». Правильно: «Если мы добавим огонёк популярности (X), то конверсия в корзину (Y) вырастет на 2% (N), так как это снизит когнитивную нагрузку при выборе».

2. Ошибки I и II рода alpha (5%): риск внедрить изменение, которое на самом деле не работает. Если вы банк и меняете условия кредита - ставьте 1%. beta (20%): риск НЕ заметить крутую фичу. Мощность теста (1-beta) в 80% - это «золотой стандарт».

3. Иерархия метрик • Primary (Целевая): На что влияем напрямую (например, CR в клик). • Guardrail (Защитная): Что НЕ должно упасть (например, средний чек или выручка). Часто рост одной кнопки «съедает» доход в другом месте. • Proxy (Прокси): Если основная цель (например, LTV) слишком долгая, смотрим на ранние предикторы (Retention 1-го дня).

4. MDE (Minimal Detectable Effect) Это ваша «планка чувствительности». Какой минимальный рост вам важен? Чем ниже MDE (например, хотите поймать рост в 0.5%), тем больше юзеров вам нужно.

5. Расчет Sample Size Нельзя просто ждать «до пятницы». Используйте калькуляторы (например, Evan’s Awesome A/B Tools). Вам нужно заранее знать: «Мне нужно по 15 000 человек в каждой группе». Если данных меньше - результат невалиден.

6. Длительность теста Тест должен длиться минимум один полный цикл . Почему? Поведение пользователей в понедельник и субботу - это два разных мира. Если наберете выборку за 2 дня, вы получите искаженные данные.

7. Сегментация Катим на всех или только на «старичков»? Новые пользователи реагируют на новизну (Effect of Novelty), а лояльные могут захейтить изменения интерфейса (Primary Effect).

8. Проверка на А/А Перед запуском теста убедитесь, что ваши группы изначально идентичны. Если в группе А конверсия и так была выше на 5% без всяких фич - ваш эксперимент обречен.

P.s. Поделитесь в комментариях своей самой дикой историей, когда результат теста оказался полной неожиданностью! 👇