🎯🎯🎯 Чек лист для проведения продуктового A/B теста. Часть-1: #ab_testing

✅ 1. Определить дизайн новой продуктовой фичи или функционала, а именно как будет отличаться отображение новой продуктовой фичи или функционала для контрольной и тестовой группы клиентов в рамках A/B теста.     ✅ 2. Определить целевую метрику, на которую мы планируем воздействовать новой продуктовой фичей или функционалом и по которой мы будем подводить итоги A/B теста. Также вокруг целевой метрики будет строиться сам дизайн A/B теста.     ✅ 3. Определить контрольные метрики, на которые мы можем потенциально ещё воздействовать новой продуктовой фичей или функционалом и которые мы дополнительно будем анализировать в рамках теста для генерации новых продуктовых гипотез и запуска новых A/B тестов. Также в рамках A/B теста стоить ещё отдельно выделить так называемые метрики "здоровья", которые мы будем контролировать на протяжении всего A/B теста и не допускать их большего западения. Метрики "здоровья" являются наиболее критичными и чувствительными метриками для продукта.     ✅ 4. Сформулировать статистическую гипотезу, которую будем проверять в рамках A/B теста. Как правило при тестирование новой продуктовой фичи или функционала проверяется наличие или отсутствие статистически значимой разницы между результатами целевой метрики в контрольной и тестовой группе клиентов.     ✅ 5. Определить минимальный ожидаемый эффект (MDE), а именно абсолютное или относительное значение влияния на целевую метрику от внедрения новой продуктовой фичи или функционала, так называемый minimal detectable effect (MDE). MDE является одним из критически важных параметров для разработки дизайна A/B теста, а именно для определения минимального размера выборки и оптимального срока проведения A/B теста.