Отдельная камера АВ-рецидивистов - ч.1 В темном-темном городе есть темное-темное отделение АВ-полиции, в котором есть темная-темная камера для злостных нарушителей АВ-культуры. Отчет о ее составе будем публиковать по частям

Джонни: раскатывал фичу до окончания А/В теста Эксперименты - дотошная вещь. Надо держать по 2-3 недели на приличный % пользователей. Определить 1-2 целевых метрик, пару контрольных, да еще и барьерные метрики есть. Но зачем это все если можно запустить А/В, подержать 3-4 дня. Затем увидеть прокрас какой-то "важной" метрики в зеленый и просто выкатить фичу?

У Джонни под это даже были аргументы:

  • Мы продуктовая компания и быстро проверяем гипотезы
  • Не раскатанная в прод зеленая фича генерит недозарадботанных денег на миллионы в день
  • Если что-то ухудшается значимо, то мы это и на общих графиках день-ко-дню для всей компании увидим
  • Нужно быть гибкими, а не душнить вашей теорией А/В
  • Внутри компании все пополльзовались фичей - она всем нравится
  • И вообще сроки горят, СЕО просил выкатить фичу еще на прошлой неделе!

Но у товарища прокурора были более веские аргументы: - Проблема подглядывания Каждый день смотрим на метрики = не 1 эксперимент, а N экспов по числу дней подглядывания. Как известно, увидеть эффект где его нет можно в alpha (обычно 5%) случаев. Если эксп идет 21 день, то... мы почти наверняка найдем день, когда метрика красится в зеленый, хотя эффекта нет

- Проблемы будней-выходных В будни и выходные приходит разная аудитория по сотаву и по количеству (в выхи обычно больше). Если тест красит метрики в будни, то это нельзя распространить на выходные. А в авыходные компания зарабатывает как правило очень много. Есть кейсы, когда в будни АВ зеленый, а в выходные - красный

- Сбитый график запусков Если тест можно закончить хоть во вторник, хоть в пятницу, то угадайте что? Правильно, через неделю половина выкаток фичи на 100% пользователей будет по пятницам

- Ломаем другие экмперименты Не у всех отлажена система непересекающихся АВ. Если мы включаем/выглючаем тесты хаотчино, то очень легко упустить пересечение взаимовлияющих экспов. А если оно есть, то результаты всех таких экспов (а не экспов одного менеджера, аналитика, который хаотично жмет вкл/выкл) превращаются в рандом

Как думаете, кто еще сидит в камере АВ-рецидивистов? 🔐 #рецидивисты@abpolice