ДРЕВНЕЕ ЗЛО ПРОБУДИЛОСЬ **🔥****ДОЛГОЖДАННЫЙ ПОСТ ОБ АНАЛИТИКЕ

ПОЧЕМУ ВАЖНО ПОНИМАТЬ, НА КАКИЕ МЕТРИКИ МОЖЕТ ПОВЛИЯТЬ ФИЧА**

Каждая фича создается для решения конкретной задачи или улучшения конкретного аспекта продукта. Важно понимать, что фича не будет влиять на абсолютно каждую метрику на проекте.

Давайте на примере посмотрим, как фича может повлиять на проект 🥴

В игре наблюдалась проблема с прохождением туториала, поэтому в обновлении были исправлены технические проблемы и переработана структура туториала. Куда будем смотреть, чтобы сказать, что исправления отработали хорошо? 🤔

Можем побежать смотреть на retention, ltv и playtime. Это, действительно, очень важные метрики, но есть пара вопросов:

• как наши изменения могли повлиять на эти метрики?
• нет ли метрик, на которые наши изменения должны были повлиять более явно?

Улучшение туториала действительно может повысить удержание игроков на проекте, поднять доход. Но что должно произойти, чтобы эти метрики сдвинулись? Игрок должен пройти туториал, затем остаться в игре, начать генерировать нам доход, вернуться на следующий день. Стоп, а разве мы влияли на этапы после "пройти туториал"? Нет, мы только улучшили только его, а дальше мы надеемся, что никаких проблем нет. Не очень надежно 😔 В этом и есть основная проблема рассматривания каждый раз одного и того же набора ✨основных метрик✨. Мы смотрим на метрики, изменение которых могло произойти и без нашего влияния. В обновлении также исправили баг на уровне, из-за которого у части игроков вылетала игра. Может быть исправление этого бага забустило нам метрики? А если таких мелких изменений было больше? Как в таком случае оценивать улучшение туториала?

Ответ банален и прост. Давайте оценим метрики, на которые наша фича влияла не косвенно, а напрямую.

Какие это метрики в нашем случае? Улучшение туториала скорее всего должно повысить процент игроков, которые доходят до его финиша. Также можем посмотреть, какой процент игроков начинает следующий после туториала уровень. Таким образом мы занижаем влияние внешних факторов и стараемся оценить фичу отдельно. Конечно, могут появиться какие-то новые баги, из-за которых в туториале у игроков появятся проблемы. Но мы хотя бы снижаем эту вероятность до минимума и рассматриваем фичу изолированно.

О, нет, конверсия в прохождение туториала не улучшилась, его проходит такой же процент игроков, как и раньше. Туториал не стал лучше - наша фича не сработала. 😭 Хотя если бы мы смотрели на основной набор метрик, то у нас было бы противоположное мнение.

Конечно, каждый член команды хочет, чтобы любая фича положительно влияла на абсолютно каждую метрику. Но в реальности влияние зачастую более точечное, поэтому для точной оценки рекомендуется рассматривать метрики, влияние на которые самое сильное. Конечно, это не говорит о том, что не нужно смотреть на набор ключевых метрик по типу удержания. Они все еще самые важные, но их улучшить сложнее, они более устойчивы к мелким изменениям. Наш подход позволит оценить влияние исключительно рассматриваемой метрики. 📖