Проверять гипотезы быстро

Подводим сейчас ОКРы — моя гроусхакинг-команда запустила 68 (!) тестов за квартал, в последние недели разогнались до 10 тестов.

Что нам позволяет быстро тестировать:

⚡️1. Тестируем в безрелизных местах

У нас есть пачка мест, где можно без разработки менять тексты, картинки и т.д — используем их, а также запускаем тесты в пушах и смсках.

Параллельно продуктовые команды вкладываются в перевод самых популярных и перспективных мест на безрелизность — это суперинвестиция в будущее. ⚡️2. Выбираем места с большим потоком клиентов

Чтобы статзначимость набиралась супербыстро, нам нужны два условия: большой поток и большой аплифт.

Поэтому выбираем места, где клиентов много. Это и логично в плане эффекта на большее количество людей, и позволяет быстро завершать тесты.

⚡️3. Выбираем проседающие места и закладываемся на большой % аплифта

Места, где конверсия 90%, уже вылизаны и принести результат там сложнее, поэтому выбираем места, где конверсия проседает.

Гипотезы тоже выбираем амбициозные: ждать статзначимых изменений на 0,001% — тоже долго. Поэтому мы закладываем бОльшие изменения, минимум пара %. Не набрались эти проценты— обрубаем тест, запускаем новый.

⚡️4. Тестируем до прокси-метрик

Суперважная штука, но об этом в следующем посте (: