Недавно мы изменили структуру нашего приложения для экспертов.

Анализы приносят продукту выручку, поэтому мы сделали этот сценарий заметнее. Контент и инструменты для сопровождения клиентов в результате переместились чуть глубже.

Сначала всё выглядело хорошо: больше экспертов стали направлять клиентов на анализы. Основная метрика выросла — именно этого мы и хотели. Но затем посмотрели на остальные показатели.

Просмотры образовательного контента заметно снизились. Мы ожидали падения и следили за этой метрикой, но заранее не договорились, какое снижение считаем допустимым. В итоге оно оказалось сильнее, чем мы предполагали.

Одновременно эксперты стали реже добавлять клиентов на сопровождение. Вот этого эффекта мы не ожидали совсем. Было бы удобно объяснить оба снижения новой структурой, но данные не позволяют сделать такой вывод.

Провести A/B-тест мы не могли: технической возможности нет, а из-за небольшой аудитории статистически значимого результата пришлось бы ждать слишком долго. При этом добавление на сопровождение снижалось и у пользователей со старой версией приложения, а на просмотры контента одновременно влияли сезонность и сокращение количества пушей. Поэтому возвращать прежнюю структуру мы пока не стали. Сейчас пересматриваем контент-план и частоту уведомлений, а за добавлениями на сопровождение продолжаем наблюдать отдельно.

В этой истории для меня важен не вопрос, стоило ли ставить коммерческий сценарий на первое место. Иногда это необходимо.

Важнее другое: до запуска мы хорошо определили метрику, которую хотели вырастить, но хуже договорились о том, какими показателями не готовы ради неё пожертвовать. А один из возможных побочных эффектов вообще не предусмотрели.

Именно для этого нужны защитные метрики. Перед следующим подобным изменением я бы заранее зафиксировала: 📎 какой показатель хотим вырастить; 📎 какие сценарии станут длиннее или менее заметными; 📎 какое снижение в них считаем допустимым.

Иначе можно порадоваться росту основной метрики и слишком поздно заметить, чем продукт за него заплатил.