Проверять гипотезы быстро-3

И последнее, но не менее важное:

⚡️7. Смотрим на ближайшие метрики, а не на дальние. (но влияние на дальние тоже проверяем — см.ниже)

Например, мы делаем тесты на продающем экране, где написаны преимущества кредитки, мы будем смотреть не на все метрики воронки вплоть до шага "воспользовался картой", а только на конверсию в кнопку "оформить" на этом экране. Как только она созреет — останавливаем тест.

Логика простая: чем более дальние метрики мы смотрим, тем дольше будет крутиться тест, тк туда люди доходят позже и в меньшем количестве.

Но проверять, что мы не уронили дальние метрики, все равно нужно. Чтобы не случилось, например, что мы привели не тот поток людей — карты открывают, но не пользуются.

Это решается двумя способами:

— Массовый ухудшающий тест до дальних метрик

Например, за квартал 10 тестов показали рост конверсии в следующий шаг и мы их масштабировали.

В конце квартала мы делаем ухудшающий тест, где убираем эти 10 изменений и смотрим, что дальние метрики не изменились или просели. А значит, наши тесты действительно успешные.

Да, из этих 10 тестов парочка могли дальнюю метрику ухудшить и мы этого никогда не узнаем, ну и ладно: мы сэкономили так много времени, что позволило нам получить десять успешных, а не один.

— Вечный контроль

Сложнее в реализации, проще в использовании: выделяется небольшой поток клиентов, у которых вообще не будет никаких изменений, весь флоу остаётся старым.

Тогда и ухудшающих тестов не нужно: просто сверяемся с вечным контролем, что дальние метрики не изменяются, а в идеале тоже растут.

😎 Вроде это все основные пункты, что я хотела сказать про быстрые тесты.

Начало: Проверять гипотезы быстро, Проверять гипотезы быстро-2

А мы тем временем запустили процессы гроусхакинга ещё в двух командах и готовим третью 🔥