📓📓📓 Что такое MDE в A/B тестах? Часть-2: #statistics #ab_testing          📚 Зачем нужен MDE :         📍 1. Определить оптимальный размер выборки (n): Зная MDE, можно рассчитать оптимальный размер выборки (n), чтобы получить статистически значимые результаты в рамках A/B теста.         📍 2. Определить оптимальный срок проведения A/B теста (t): Зная MDE, можно рассчитать оптимальный срок проведения A/B теста, чтобы получить статистически значимые результаты.         📍 3. Снизить вероятность ложных выводов: Зная MDE, можно корректно интерпретировать небольшие улучшения в рамках A/B теста, которые на самом деле являются случайными или просто шумом в данных, то есть статистические незначимыми.         📍 4. Повысить эффективность по управлению продуктовым бэклогом: Знание MDE позволяет сосредоточиться на тестирование только тех продуктовых фичей и статистических гипотез, которые с высокой вероятностью могут быть статистически значимыми и обладают высоким потенциалом, что в итоге приводит к минимизации потерь времени компании по тестированию продуктовых фичей с низким потенциалом.     📚 Life-hacks по работе с MDE :         📍 1. Определите MDE на этапе дизайна A/B теста: MDE нужен будет для подготовки корректного дизайна A/B теста, что позволит в том числе избежать основных ошибок при проведении A/B тестов    (см. предыдущие посты)    .         📍 2. Стремитесь использовать реалистичные значения MDE: От того насколько реалистичное значение MDE вы выберете, зависит корректность самого дизайна и итоговых результатов A/B теста. Для маленьких значений MDE потребуется большой объема выборки (n) и длительный срок проведения A/B теста (t), что в итоге может затянуть тестирование продуктовой фичи на длительный период.         📍 3. Учитывайте специфику продуктовой фичи: Оптимальное значение MDE зависит в том числе и от выбранной целевой метрик, а именно от её чувствительности в рамках тестирования той или иной продуктовой фичи.         📍 4. Корректируйте значение MDE: Если выбранный MDE не реалистичен, то не стесняйтесь изменить его значение.     📚 Пример расчета MDE :         ✏️ 1️⃣ Например, в рамках A/B теста на App вы тестируете продуктовую фичу, которая должна увеличить конверсию в покупку.     ✏️ 2️⃣ Базовое значение конверсии в покупку: 5% и MDE: 10%.         ✏️ 3️⃣ Это означает, что вы хотите обнаружить в рамках A/B теста увеличение конверсии в покупку, как минимум на 10% или на 0,5 процентных пункта, то есть до 5% + 0,1*5% = 5,5% и при этом оно будет статистически значимым при заданных значениях уровня значимости (α), статистической мощности (β) и размера выборки (n). скорректировать.