Авито приобрели платформу Sigma от EXPF для продуктовой аналитики — отличный повод поговорить о прикладном в экспериментах. Скажем, у вас рекламная кампания с разными креативами и насущный вопрос: какой из них лучший. Если креативов 2 всё проще: A/B-тест, конверсия во что-нибудь как критерий, доверительный интервал в 95% как золотой стандарт — и любой онлайн-калькулятор всё посчитает. А если креативов больше двух — тоже посчитает, но неправильно. В подобных тестах вероятность ошибки растет и доверительный интервал нужно корректировать.

Для таких корректировок существуют поправки на множественное сравнение. Одна из часто применяемых — поправка Бонферрони.

Например, у вас креативы с пиццей в рекламном сплит-тесте. Скажем, 2 баннера: первый с пепперони, второй (отринем предрассудки) с ананасами, конверсия в покупку пепперони выше. При доверительном интервале 95% вероятность, что дело не в пепперони, 5% (α = 0.05).

А теперь усложнение, баннеров 6, начинки разные. Исходная вероятность «дело не в начинке» те же 0.05. Но это вероятность ошибки для каждого сравнения, а их уже 6. С поправкой Бонферрони скорректированный уровень ошибки составит 0.05 / 6 ≈ 0.0083. И доверительный интервал в таком тесте — уже не 95%, а 99.17% (100% — 0,83%).

И тут любой онлайн калькулятор посчитает нужную выборку для теста, чтобы ваша пицца прокрасилась. Нетрудно проверить, что для сравнения 6 вариантов потребуется выборка большего размера, чем для 2.

Поэтому рекламные платформы так настойчиво рекомендуют сравнивать только 2 версии — эксперимент быстрее завершится и его будет проще интерпретировать. Но если у вас достаточно данных — можно сравнивать всё и сразу. Один итальянский математик это предусмотрел 🤌