После череды праздничных выходных вспомнился вечный рабочий вопрос - а стоит ли планировать AB-тест на праздники.

Сразу короткий ответ - не стоит :) Пусть отдыхают все - и сотрудники, и система аналитики.

Новогодние, майские, выходные перед 23 февраля и 8 марта - это время, когда пользователи ведут себя иначе, чем в обычные дни. Проводя тест изменений в продукте в это время, есть риск получить недостоверные результаты - и сделать на их основе неверные выводы об успехе или провале гипотезы.

Что может пойти не так:

- трафик в продукте будет меньше обычного - а значит, праздничные дни не сэкономят время, а наоборот, увеличат срок теста

- в продукт могут заходить совсем нецелевые пользователи (иногда даже географически - если люди путешествуют, выборка в тесте может сместиться не туда)

- целевых действий в продукте может быть недостаточно или наоборот, слишком много (понятный пример - большое количество импульсных покупок в день праздника)

Если вы подозреваете, что праздники могут подпортить результаты - лучше либо не проводите тест в период праздников совсем, либо вручную исключите эти дни при подсчете результата.

Исключение, когда тест в праздники оправдан - когда гипотеза напрямую связана с праздничным событием. Но тут тоже могут быть свои нюансы: например, в Авито мы часто через AB пытались вырастить спрос на определенные виды услуг в период нового года через CRM-рассылки. Спойлер - почти все тесты были серые: спрос на услуги действительно рос, но сам по себе - рассылки на него не сильно влияли. Но как говорится, отсутствие результата - тоже результат: так мы узнали о пользователях Авито Услуг (и получателях рассылок) немного больше.

Очередной тематический геомем нашла на улицах Омска. Пусть как можно больше гипотез в этом году будет с таким же результатом, как тут ⭐️