🔍🔍🔍 Проблема подглядывания в A/B тестах (peeking problem). Часть-1: #ab_testing

⚠️ Пост к прочтению предназначен в первую очередь для Product Managers и для тех, кто задает и спрашивает следующие вопросы при A/B тестировании :     ▪️ 1. Почему такой срок проведения A/B теста? Может быть мы можем провести его за неделю?     ▪️ 2. Я вижу сейчас на графиках статистическую значимость результатов, можем уже отключать A/B тест?     ▪️ 3. Давай подождем ещё и продолжим A/B тест, так как ещё нет статистической значимости, может быть, она появиться.

🗂 Определение проблемы :     📍Проблема подглядывания в A/B тестах (peeking problem) - это проблема, когда вы проверяете промежуточные результаты A/B теста и собираетесь принять итоговое решение о наличии или отсутствии статистической значимости его результатов, а именно начинаете подводить итоги A/B теста, когда он ещё не завершен в рамках заранее определенного срока его проведения. Если вы зафиксировали результат A/B теста на промежуточных данных и продолжаете дожидаться его завершения и только потом принимаете итоговое решение по его результатам, то данная проблема не возникнет.

🗂 Описание проблемы :     📍1. Основная проблема подглядывания в A/B тестах заключается в том, что чем чаще вы смотрите или проверяете промежуточные результаты A/B теста по мере его проведения, тем выше вероятность ложноположительного результата, а именно обнаружение статистической значимости там, где её на самом деле нет или она случайна.     📍2. Чем чаще вы смотрите или проверяете промежуточные результаты A/B теста, тем выше вероятность ошибки первого рода и получения ложноположительных результатов.     📍3. Проблема подглядывания может существенно увеличить p-value (см. графики Часть-2) : - 2 подглядывания могут увеличит p-value в 2 раза - 5 подглядываний могут увеличит p-value в 3.2 раза - > 10 000 подглядываний могу увеличить p-value в > 10 раз

🗂 Решение проблемы:      📍1. Фиксировать размер выборки (n) и период проведения A/B теста (t-days)      📍2. Не проверять промежуточные результаты, пока не собраны все данные и A/B тест не подошел к концу      📍3. Sequential A/B Testing      📍4. Байесовский подход к A/B тестированию      📍5. Поправки на множественное сравнение в A/B тестах: поправка Бонферрони, поправка Бенджамини-Хохберга