Я раньше думал, что «нельзя подглядывать в A/B-тест» — это нормальное взрослое правило. 🧐

А потом понял, что проблема не в том, что вы открыли дашборд. Проблема в том, что вы увидели первую зеленую циферку, закричали «победа!» и побежали катить фичу на всех. 😍

Смотреть в тест нужно. Иначе можно не заметить, что трафик разлился криво, guardrail-метрики поехали, а деньги начали утекать в трубу.

Но смотреть — не значит дергать стоп-кран каждый раз, когда p-value красиво моргнула.

Хороший A/B-тест начинается не с запуска, а с договоренности: когда останавливаем, что считаем проблемой, кто принимает решение, а кто просто нервничает в чате.

Без этого один и тот же дашборд превращается в гороскоп. Продакт видит релиз, маркетинг видит катастрофу, аналитик видит ошибку первого рода, бизнес спрашивает: «Так мы заработали или нет?»

Подглядывать глазами — нормально. Подглядывать руками — опасная фигня 👁 👨‍💻Продакт поехал #product

В этом посте были ссылки, но мы их удалили по правилам Сетки