Стоит ли верить А/Б-тестам на слово?

Поговорим про душную тему? Представьте: вы тестите новую фичу на 10% аудитории. Через неделю видите +20% прироста. Всё, успех, открываем просеко (или что там щас можно открывать? ПВЗ?), катим на всех! Проходит месяц… а где буст?

А/Б-тесты — штука полезная, но их результаты не всегда кристально честные.

Так где подвох? 🤔

— Эффект новизны. Люди увидели что-то новое — и такие: «Вау!». Но вау быстро сменяется на «Ну, норм». Это как с новым айфоном: пока новинка — всем ножен, потом у всех есть.

— Выборка так себе. Тестили на 10% самых активных пользователей? Конечно, они все кликают и радуются. А как остальные? Им может быть вообще всё равно.

— Тест был слишком коротким. За неделю вы узнали, что на людей влияет… понедельник. И всё. А если тестить в течение месяца, появятся данные по праздникам, выходным и во время ретроградного Меркурия.

— Внешние факторы. Результаты могли подогнать скидки, реклама или внезапный рост курса биткойна. А вы думали, это заслуга фичи? Эх, надо было брать по тыще.

— Сложные причины простого эффекта. Да, +20% прироста. Но откуда он? Фича могла «перехватить» внимание на одной метрике, убив другие (каннибализировать). Или совпало с фазой луны, кто знает?

Как не вляпаться?

— Расширяйте выборку. Чем больше людей участвует в тесте, тем меньше шансов на случайные «плюсики». — Тестируйте дольше. За неделю даже молоко не успевает нормально прокиснуть, что уж говорить о пользовательских данных. — Смотрите на сегменты. Новички, ветераны, те, кто заходит раз в год — как фича повлияла на всех этих ребят? — Думайте наперёд. Результаты теста — это подсказка, а не финальная истина. Всегда смотрите на долгосрочную динамику.

А/Б-тесты, конечно, помогают, но иногда их результаты — это как гороскоп: звучит красиво, но верить на 100% не стоит. Анализируйте глубже, думайте шире и всегда проверяйте ещё раз.

@vitshmlv