Если вы смотрите A/B “каждый день” без sequential-дизайна — выводам нельзя доверять
Типичная картина: запускнули тест, на второй день “+”, на четвертый “-”, на пятый опять “+”, и в чат летит “катим?”. Цена ошибки тут не в том, что вы один раз ошиблись. Цена в том, что команда перестаёт верить экспериментам, продукт начинает жить по эмоциям, а метрики превращаются в спор “кому повезло с окном”.
Механика простая: fixed-horizon предполагает, что вы заранее фиксируете длительность/объём данных и смотрите на результат один раз в конце. Если вы при этом подсматриваете каждый день и готовы остановиться “как только стало красиво”, вы многократно даёте себе шанс увидеть случайный всплеск и принять его за эффект. Это не “плохая дисциплина”, это встроенный перекос процесса.
Минимальный стандарт выбора подхода:
- Fixed-horizon берите, если важна простота внедрения и коммуникации: один план, одна дата, одно решение. Но тогда правило железное: никаких промежуточных решений и “ранних побед”.
- Sequential берите, если бизнес реально требует частых проверок и возможности ранней остановки (успех/провал/вред). Тогда каждый “взгляд” должен быть частью дизайна, а не импульсом.
- Если у вас нет стабильной рандомизации и контроля качества данных, спорить про sequential vs fixed бессмысленно: вы оптимизируете статистику поверх шума.
- Если метрика легко “дергается” из‑за сезонности/дней недели/промо, без фиксированного горизонта или корректного sequential-контроля вы получите красивую картинку и неверное решение.
Что нужно подготовить в платформе и процессах, чтобы “смотреть каждый день” было легально:
- Преднастроенные правила остановки: когда можно завершать, по каким метрикам, и кто подтверждает решение
- Логи всех просмотров и решений: кто смотрел, когда, какие пороги сработали
- Авто-проверки data quality: перекосы трафика, пропуски событий, изменения трекинга, SRM/перераспределение
- Единый источник правды по метрикам и сегментам: чтобы “другой дашборд” не создавал параллельную реальность
- Шаблон коммуникации: что сообщаем в середине (статус), и что запрещено делать до финального решения (катить/откатывать “по ощущениям”)
В правильной практике команда заранее выбирает режим: либо мы честно ждём фиксированный горизонт и не играем в “давайте одним глазком”, либо строим sequential как продуктовую функцию, с правилами, логами и ответственностью. Обычно спорят про “скорость”, но на деле спор про то, готовы ли вы платить сложностью за право принимать решения раньше. Sequential не спасает, если вы хотите просто чаще радоваться.
