Ты приходишь утром на работу и видишь, что конверсия в покупку упала. Твои действия? Как будешь искать причину?

1️⃣ Для начала уточним у собеседующего контекст, чтобы лучше понимать задачу. Про какой продукт идёт речь и про какую конверсию? По какой формуле она считается? На сколько % упала конверсия и с каким периодом сравниваем? Когда началось падение?

2️⃣ Проверяем корректность данных. Убеждаемся, что все события отрабатывают правильно, а данные по покупкам без пробелов и в полном объеме долетели до базы. Смотрим, не увеличилось ли число алертов и технических сбоев в интересующий нас промежуток времени. Подтверждаем, что формула для расчета метрики не изменилась. Наша задача тут - удостовериться, что падение метрики не связано с техническими проблемами

3️⃣ Изучаем динамику метрики на исторических данных. Возможно, конверсия падает каждую неделю после выходных? Или каждый год именно в начале мая? Исключаем фактор сезонности. Смотрим, сильно ли скачет метрика. Может быть ⼠10% — это абсолютно нормально для неё?

4️⃣ Исключаем внешние факторы. Погода может влиять на продукт: когда холодно, люди не хотят выходить на улицу и заказывают продукты чаще. Когда тепло - реже. Помимо природных факторов есть политические (санкции, выборы), рыночные (маркетинг, акции у конкурентов), экономические (повышение ставок, всплески инфляции), культурные (проведение фестивалей, турниров) и многие другие

5️⃣ Исключаем внутренние факторы. Проверяем, не совпадает ли падение конверсии с релизом новых версий, раскаткой фич, аб-тестами или действиями собственного маркетинга / ассортимента / других отделов

6️⃣ Если к этому времени не удалось найти причину, то или плохо искали, или кейс действительно непитичный. Можно копнуть в сегменты с целью локализовать проблему: сплитуем по платформам, версиям приложения, новичкам / старичкам, гео, источникам трафика. Например, на одном из реальных кейсов про Uber собеседуемому нужно было обнаружить, что падение конверсии в заказ такси произошло только в России, и догадаться, что связано это с отключением зарубежных карт

7️⃣ Декомпозируем конверсию и изучаем составляющие воронки. Уже описанную конверсию в заказ такси можно разложить на: а) конверсию из открытия приложения в выбор адреса, б) из выбора адреса в клик по кнопке “заказать”, в) из клика по кнопке - в успешный заказ. С помощью декомпозиции можно увидеть, что падение произошло именно на последнем этапе (на котором и проверяется карта)

8️⃣ Проанализируем, что происходило в это время с другими метриками продукта. Упало или выросло что-то ещё?

9️⃣ Просмотрим глазами логи случайных пользователей. Они могут подсказать, что происходит

По моим ощущениям, кейс спрашивают на каждом втором интервью. Поэтому сохраняйте к себе — и будьте к нему готовы

Больше разборов у меня в телеграм-канале: https://t.me/pavelfedotov99_channel