🧪 Как запускать тесты в мобильных приложениях: тайминг, аудитория и метрики

Пока YouTube тестирует Hype, давай разложим, как проводить такие фичи в мобилке — без фантазий и на цифрах.

🧭 1. Определи цель теста Не «посмотрим, как зайдёт», а чёткий вопрос:

• Увеличит ли фича Retention D7 на 10%?
• Поднимет ли конверсию в оплату на 5%?
• Повысит ли вовлеченность у новых пользователей?

Если цель непонятна — метрики размоются и тест уйдёт в "ну вроде норм".

🎯 2. Как выбрать аудиторию теста Вот без «всех подряд»:

По сегменту: только новые или только платящие, или наоборот — холодные, но активные.

По гео: один рынок = один культурный контекст. Не тестим одновременно США и Индию.

По платформе: Android и iOS ведут себя по-разному. Разделяй и властвуй.

YouTube, к примеру, выкатывает Hype на небольшие рынки ЕС — где реакция более мягкая и можно тонко отследить, как фича влияет на коммьюнити.

🕒 3. Как задать тайминг теста Идеально: разбиваем на недели, не меньше двух:

Неделя 1 — разогрев (идёт шум, привыкание, первые реакции)

Неделя 2 — валидная фаза (пользователь уже понял фичу и использует осознанно)

Если делаешь тест на фичу вовлечения — лучше смотреть Retention D7, а не сразу метрику использования. Иногда кнопка жмётся часто, но потом люди уходят.

📊 4. Как валидировать результат Простой split (50/50) часто недостаточен — используй экспериментальные платформы типа Firebase A/B, Amplitude Experiment, Statsig.

Всегда рассчитывай статистическую значимость — без неё ты просто гадаешь.

🚫 Ошибки которые часто встречались на практике Делать выводы после 3 дней: пользователь не понял фичу — и ты не понял пользователя.

Сравнивать метрики с «предыдущей неделей». Это не тест, это чуйка.

Откатывать фичу потому что «негативные отзывы». Важнее поведение, а не эмоции.

Протестировать фичу — это не просто вкатить кнопку. Это задизайнить эксперимент как продукт: зачем, кому, как долго и что считать успехом.

Хочешь качнуть продукт — сначала научись качать гипотезы.

Если ты пока читал задался вопросом что это за хуе*** Retention D7** Retention D7 = 📅 Кол-во уникальных пользователей, вернувшихся на 7-й день ➗ 📥 Кол-во установок на 0-й день × 100% Пример:** 1 июля установило 1 000 человек 8 июля в приложении появились 120 из них Retention D7 = 120 / 1000 = 12%