📓📓📓 Что такое MDE в A/B тестах? Часть-1: #statistics #ab_testing_             📚 Определение :              📍 MDE (minimum detectable effect) - это минимальный размер эффекта, который мы сможем задетектировать в рамках A/B теста при заданных значениях уровня значимости (α), статистической мощности (β) и размера выборки (n).              📍 MDE (minimum detectable effect) - это минимальное значение изменения целевой метрики, которое мы сможем обнаружить в рамках A/B теста и оно будет статистически значимым при заданных значениях уровня значимости (α), статистической мощности (β) и размера выборки (n).              📚 Формула расчета MDE :              📍 MDE можно вывести из формулы расчета статистической мощности (Power Analysis) или формулы расчёта оптимального размера выборки (n). Изменяя один из трех параметров формулы, а именно: уровень значимости (α), статистическую мощность (β) или размер выборки (n), будет меняться и само значение MDE.              ‼️ Формула статистической мощности (см. Power Analysis), где: n - размер выборки каждой _из 2 групп теста, Var1, Var2 - выборочные дисперсии группы i, z_α/2, z_β - значения стандартного нормального распределения для заданного уровня значимости (α) и мощности критерия (β), MDE - ожидаемый минимальный размер эффекта.              📚 Параметры, влияющие на MDE :              ▪️ 1. Размер выборки (n) - Чем выше будет размер выборки (n), тем ниже будет значение MDE.              Зависимость: ⬆️⬇️              ▪️ 2. Уровень значимости (α) - Чем ниже значение уровня значимости (α), тем выше будет значение MDE.              Зависимость: ⬇️⬆️              ▪️ 3. Мощность критерия (β) - Чем выше значение мощности критерия (β), тем ниже будет значение MDE.              Зависимость: ⬆️⬇️              ▪️ 4. Волатильность данных (σ) - Чем выше волатильность данных (σ), тем выше будет MDE.              Зависимость: ⬆️⬆️              ⚠️ Итоги: MDE отрицательно зависит от размера выборки (n), уровня значимости (α) и мощности критерия (β) и положительно зависит от волатильности данных (σ).

📓📓📓 Что такое MDE в A/B тестах? Часть-1: #statistics #abtesting            

📚 Определение :             
📍 MDE (minimum detectable effect) - это минимальный размер эффекта, который мы сможем задетект... | Сетка — новая социальная сеть от hh.ru
repost

515

input message

напишите коммент

еще контент в этом сообществе

еще контент в этом соообществе

войдите, чтобы увидеть

и подписаться на интересных профи

в приложении больше возможностей

пока в веб-версии есть не всё — мы вовсю работаем над ней

сетка — cоциальная сеть для нетворкинга от hh.ru

пересекайтесь с теми, кто повлияет на ваш профессиональный путь