8 вопросов для разбора A/B-теста
Когда раньше постоянно приходилось работать с А/Б тестами и заметил, что споры вокруг тестов почти всегда идут по одному сценарию.
Кто-то увидел +3% и уже решили раскатывать. Кто-то остановил тест на третий день, а нужная выборка еще не набралась. Кто-то ориентируется на средние значения, а в сегментах эффект обратный.
Чтобы не разбираться с нуля на новом тесте, удобно держать в голове список вопросов, которые надо задать до того как принять на основе него решение.
Но главное чего надо избегать это подглядывание. Срок и размер выборки фиксируются до старта, и дальше эксперимент уже не трогаем. Если изо дня в день смотреть и останавливать на росте, эффект гарантированно найдётся, даже если его нет.
Собрал чеклист в одну картинку, с примерами и пояснениями к пунктам.
@podbiratel #podbiratel #productmanagement
