Product channel fit | Kamilla Samokhina
19.07
Проверять гипотезы быстро-3
И последнее, но не менее важное:
⚡️7. Смотрим на ближайшие метрики, а не на дальние. (но влияние на дальние тоже проверяем — см.ниже)
Например, мы делаем тесты на продающем экране, где написаны преимущества кредитки, мы будем смотреть не на все метрики воронки вплоть до шага "воспользовался картой", а только на конверсию в кнопку "оформить" на этом экране. Как только она созреет — останавливаем тест.
Логика простая: чем более дальние метрики мы смотрим, тем дольше будет крутиться тест, тк туда люди доходят позже и в меньшем количестве.
Но проверять, что мы не уронили дальние метрики, все равно нужно. Чтобы не случилось, например, что мы привели не тот поток людей — карты открывают, но не пользуются.
Это решается двумя способами:
— Массовый ухудшающий тест до дальних метрик
Например, за квартал 10 тестов показали рост конверсии в следующий шаг и мы их масштабировали.
В конце квартала мы делаем ухудшающий тест, где убираем эти 10 изменений и смотрим, что дальние метрики не изменились или просели. А значит, наши тесты действительно успешные.
Да, из этих 10 тестов парочка могли дальнюю метрику ухудшить и мы этого никогда не узнаем, ну и ладно: мы сэкономили так много времени, что позволило нам получить десять успешных, а не один.
— Вечный контроль
Сложнее в реализации, проще в использовании: выделяется небольшой поток клиентов, у которых вообще не будет никаких изменений, весь флоу остаётся старым.
Тогда и ухудшающих тестов не нужно: просто сверяемся с вечным контролем, что дальние метрики не изменяются, а в идеале тоже растут.
😎 Вроде это все основные пункты, что я хотела сказать про быстрые тесты.
Начало: Проверять гипотезы быстро, Проверять гипотезы быстро-2
А мы тем временем запустили процессы гроусхакинга ещё в двух командах и готовим третью 🔥
еще контент в этом сообществе
еще контент в этом соообществе
Product channel fit | Kamilla Samokhina
19.07
войдите, чтобы увидеть
и подписаться на интересных профи