5. Online-эксперимент Offline понравился 😉— идём в A/B.🧪

Когда-то запуск и обсчёт эксперимента мог быть отдельным приключением. Сейчас в крупных компаниях эта часть уже сильно автоматизирована: платформа делит пользователей на группы, собирает события, считает продуктовые метрики, статистику и результаты по сегментам.

Человеку остаётся определить дизайн эксперимента: какой процент трафика дать, какие guardrails использовать, сколько должен идти тест и какой эффект считать достаточным. Допустим, получили: ARPU +0.5%, CTR -4%, AOV +1%, CR без изменений. И тут снова появляется человек. Выкатывать изменение? Продолжить тест? Разобраться, почему упал CTR? Или вообще отказаться от гипотезы?

Расчёт A/B уже хорошо автоматизирован. 🤔 Интерпретация результата — пока намного хуже.⁉️ Автоматизация сейчас: высокая в расчёте эксперимента, но заметно ниже в принятии решения. После этого цикл начинается заново: Проблема → ML-решение → модель → offline → A/B → новая проблема.🎁