Интервалы A и B пересекаются, а разница при этом значима. Если это звучит странно, секция A/B на собесе может пойти тяжело 📏

Стандартная ошибка и ЦПТ лежат под любым выводом по тесту, поэтому про них спрашивают почти на каждой техничке. Собрал 5 вопросов, проверь себя 👇

Вопрос 1: продакт показывает результат теста: конверсия 2.7%, 95% доверительный интервал [2.1%; 3.4%]. Как правильно прочитать этот интервал?

Ответ в опросе ниже, сначала подумай сам 😉

Вопрос 2: чем стандартная ошибка отличается от стандартного отклонения?

Ответ: стандартное отклонение показывает разброс отдельных наблюдений. Стандартная ошибка показывает разброс выборочного среднего: SE = SD / √n. Выборка растёт, SE падает, а SD остаётся примерно тем же.

Вопрос 3: интервал получился слишком широким. Во сколько раз увеличить выборку, чтобы сузить его вдвое?

Ответ: в 4 раза. Ширина интервала пропорциональна 1/√n. Было 10 000 юзеров в группе, нужно 40 000.

Вопрос 4: делает ли ЦПТ исходные данные нормальными?

Ответ: нет. Теорема говорит о распределении выборочного среднего: при большом n оно близко к нормальному, если у метрики конечная дисперсия. На выручке с редкими китами среднее сходится к нормальному медленно, и юзеров нужно сильно больше, чем для конверсии.

Вопрос 5: интервалы групп A и B пересекаются. Значит, разница не значима?

Ответ: не обязательно. A = 10 ± 1, B = 11.6 ± 1, интервалы пересекаются. Считаем интервал разницы. Его полуширина √(1² + 1²) ≈ 1.4, значит разница 1.6 ± 1.4, то есть [0.2; 3.0]. Ноль в интервал не попал, разница значима.

Сколько из пяти закрыл без подсказок? Пиши в комментарии 👇