Product Analytics 404
28.10 · ред.
📓📓📓 Что такое MDE в A/B тестах? Часть-1: #statistics #ab_testing_ 📚 Определение : 📍 MDE (minimum detectable effect) - это минимальный размер эффекта, который мы сможем задетектировать в рамках A/B теста при заданных значениях уровня значимости (α), статистической мощности (β) и размера выборки (n). 📍 MDE (minimum detectable effect) - это минимальное значение изменения целевой метрики, которое мы сможем обнаружить в рамках A/B теста и оно будет статистически значимым при заданных значениях уровня значимости (α), статистической мощности (β) и размера выборки (n). 📚 Формула расчета MDE : 📍 MDE можно вывести из формулы расчета статистической мощности (Power Analysis) или формулы расчёта оптимального размера выборки (n). Изменяя один из трех параметров формулы, а именно: уровень значимости (α), статистическую мощность (β) или размер выборки (n), будет меняться и само значение MDE. ‼️ Формула статистической мощности (см. Power Analysis), где: n - размер выборки каждой _из 2 групп теста, Var1, Var2 - выборочные дисперсии группы i, z_α/2, z_β - значения стандартного нормального распределения для заданного уровня значимости (α) и мощности критерия (β), MDE - ожидаемый минимальный размер эффекта. 📚 Параметры, влияющие на MDE : ▪️ 1. Размер выборки (n) - Чем выше будет размер выборки (n), тем ниже будет значение MDE. Зависимость: ⬆️⬇️ ▪️ 2. Уровень значимости (α) - Чем ниже значение уровня значимости (α), тем выше будет значение MDE. Зависимость: ⬇️⬆️ ▪️ 3. Мощность критерия (β) - Чем выше значение мощности критерия (β), тем ниже будет значение MDE. Зависимость: ⬆️⬇️ ▪️ 4. Волатильность данных (σ) - Чем выше волатильность данных (σ), тем выше будет MDE. Зависимость: ⬆️⬆️ ⚠️ Итоги: MDE отрицательно зависит от размера выборки (n), уровня значимости (α) и мощности критерия (β) и положительно зависит от волатильности данных (σ).
еще контент в этом сообществе
еще контент в этом соообществе
Product Analytics 404
28.10 · ред.
войдите, чтобы увидеть
и подписаться на интересных профи