🎯🎯🎯 Чек лист для проведения продуктового A/B теста. Часть-2: #ab_testing

✅ 6. Определить уровень значимости (α) и мощность критерия (1-β), то есть допустимую для A/B теста вероятность ошибки первого рода и вероятность не допущения ошибки второго рода. Уровень значимости (α) - это вероятность обнаружить разницу меду результатами статистического теста, если её на самом деле нет или она случайна. Мощность критерия (1-β) - это вероятность обнаружить разницу между результатами статистического теста, если она действительно есть и она истинна     ✅ 7. Определить минимальный размер выборки клиентов в каждой группе A/B теста для того, чтобы было возможность подтвердить статическую значимость его результатов, то есть вероятность того, что разница между результатами целевой метрики в контрольной и тестовой группе клиентов, полученные в рамках A/B теста, значима и не случайна. Для расчетов минимального размера выборки в каждой группе A/B теста можно использовать любой калькулятор A/B тестов, введя в него следующие параметры: уровень значимости (α), мощность критерия (1-β), MDE.     ✅ 8. Определить оптимальный срок проведения A/B теста с учетом минимального необходимого размера выборки клиентов в каждой группе A/B теста, рассчитанного в п.7. Если минимальный необходимый размер выборки клиентов в каждой группе 100 тыс. клиентов, а ежедневный трафик сайта или мобильного приложения равен 20 тыс. клиентов, то оптимальный срок проведения A/B теста = (100 тыс. клиентов контрольной группы + 100 тыс. клиентов тестовой группы) / ежедневный трафик = 10 дней.      ✅ 9. Оценить статистическую значимость результатов и подвести итоги A/B теста. То есть, подтвердить с определенной вероятностью наличие или отсутствие статистически значимой разницы между результатами целевой метрики в контрольной и тестовой группе клиентов при тестировании новой продуктовой фичи или функционала. Для этого можно использовать любой калькулятор A/B тестов, который будет проверять один или несколько параметрических / непараметрических статистических критериев или рассчитать их значения вручную в Python, используя ряд статистических библиотек: scipy, statsmodels.