Чтобы отдохнуть от серьезной информации - вот вам новый тематический геомем. Интересно, что планировал найти тот путешественник, который назвал гору в Сочи “Неожиданная”. Тоже наверное с чем-то экспериментировал :)

Ну а теперь идём на следующий этап -

💬 Этап 2: определяемся с метриками

Есть 3 типа метрик, которые нужно зафиксировать в эксперименте:

🔹 целевые (по которым принимается решение): например, конверсия в подключение тарифа

🔹прокси-метрики (дают ранние сигналы изменения целевой метрики): например, доля пользователей, собравших “конструктор” тарифа

🔹контр-метрики (или защитные метрики) - метрики, изменение которых ухудшает состояние продукта / базы в целом, и при их значительном росте эксперимент признается неуспешным: например, снижение конверсии в подключение всех остальных тарифов тарифной линейки (= каннибализация старых продуктов новым)

Также на этом шаге определяемся с:

- MDE по каждой метрике (Minimum Detectable Effect, минимальный эффект, который нужно зафиксировать, чтобы изменение считалось стат.значимым)

- сроком проведения теста

- методом статистической проверки теста (по которому поймем, насколько изменение неслучайно)

Дополнительно проверяем систему сплитования (здесь могут пригодиться АА-тесты, когда аудитория делится в нужном соотношении и мы следим, чтобы значимых изменений по метрикам между двумя группами не происходило). И конечно фиксируем и проверяем механику попадания пользователя в эксперимент - чтобы не было перекосов например из-за платформенных ограничений.

После этого тест можно смело запускать и ждать результатов. Главное - не подглядывать, даже если очень захочется ⛵️