Как мы чуть не выкинули фичу с +5,8% к конверсии в заказ расскажу вам одну историю из продуктовых будней!
2,5 недели назад, пока я был в отпуске, закончился ABC-тест одной функциональности. Когда я вышел из отпуска, мне сообщили, что по всем сценариям принятия решения тест нужно признать неуспешным. В моменте я подумал, что это шутка! Потому что перед разработкой мы провели очень глубокий дискавери, прогнозируя существенный прирост бизнес-метрик… Нельзя сказать, что все гипотезы должны быть успешны. Серый тест - это тоже результат и знание, что не влияет на показатели. В общем, по итогу мы решили отказываться от запуска и закрывать тикет, учитывая новые приоритеты и задачи…
Но! В один из вечеров, буквально закрывая тикет, я всё-таки решил провести дополнительное исследование: мне хотелось понять, есть ли сегмент пользователей, которые этой функциональностью пользуются. Пусть фича не влияет на бизнес-метрики, но я посмотрю: хоть кому-то от этого стало удобнее? Описал тикет, закинул встречу коллеге-аналитику побрейнштормить
Первая находка. Во время обсуждения выяснилось, что тест считали по одному id клиента, а предварительную аналитику и потенциальный эффект перед разработкой по другом. Между пред- и постаналитикой прошло больше около полугода, и эта деталь просто забылась. После встречи появилась надежда, что мы всё-таки увидим аплифт в метриках, пересчитав по иному id
Через пару дней коммент в тикете: ни статзначимого роста, ни падения. Казалось бы, всё: останавливаемся и признаём тест неуспешным. Ставлю встречу коллеге обсудить
Вторая находка. Буквально на последних минутах второго синка по прошлой выгрузке я смотрю на выборку теста и на тех, кто фичей реально пользовался, и понимаю, что что-то не так
Тестируемая фича вызывалась только в момент регистрации, работая на новорегов. При этом технически наша AB-админка распределила по группам всех пользователей, включая текущих клиентов, которые зарегистрировались задолго до запуска. У этой аудитории не было касания с фичей, поэтому….старые пользователи размывали результат в данных. Сейчас это кажется очевидным, но в потоке информации и сложности в архитектуре данных - легко упускаешь такие детали
Результат!
Таким образом, мы пересчитали целевые метрики только для новых пользователей, зарегистрировавшихся в период теста. И что получилось?
CR2order у новорегов статзначимо вырос на 5,8%!
Вот такая вот… собачка! Представьте, сколько денег потерял бы продукт, если бы мы с аналитиком остановились на первом расчёте…
Будьте дотошны, внимательны и инициативны!
Ставьте ❤️🔥, если было полезно!
