Разбор кейса на тему оценки новой фичи в e-com
Это тестовое задание на позицию продуктового аналитика в один из российский екомов.
Задание #1 Менеджер продукта PDP внедряет новый функционал, функционал заключается в том, что на странице карточки Ювелирных украшений (Колец) появляется ссылка - «Я не знаю размер».
Вопросы:
- Как бы вы оценили полезность такого функционала до её внедрения?
- На какие метрики вы бы смотрели и как их считали?
- Что нужно считать после внедрения этого функционала?
- Что необходимо передавать в аналитические базы данных, чтобы дать ответ менеджеру, что функционал приносит дополнительную ценность?
Задание #2 Вы проводите AB тест по внедрению функционала: Вариант A - калькулятор для подбора колец. Вариант B - таблица размеров. Оба варианта открываются после клика по ссылке «Я не знаю размер».
Допустим вы смотрели:
- На количество добавлений в корзину после использования этого функционала.
- На сумму товаров, добавленных в корзину после использования этого функционала.
и получили результаты. Распределение: 10% - калькулятор, 90% - таблица размеров.
На что, по вашему мнению, стоит опираться при выборе того, какой функционал нужно выкатывать на 100%?
Давайте отвечать по порядку.
1. Как оценить полезность до внедрения 💸
Сначала про механизм.
У кольца есть размер, и покупатель часто его не знает. Особенно если берёт его в подарок.
Следовательно в случае неподходящего размера кольца возможны 2 исхода: клент либо закрывает карточку (конверсия в заказ), либо заказывает наугад и возвращает (доля возвратов), если размер не подошел.
Общий потенциал фичи в таком случае равен:
Потенциал = Потенциал (доп заказы) + Потенциал (снижение возвратов)
, где
Потенциал (доп заказы) = трафик карточек колец × прирост конверсии в заказ × маржа заказа
Потенциал (снижение возвратов) = заказы колец × доля возвратов по причине "неподходящий размер" × снижение доли возвратов × стоимость обработки возврата
прирост конверсии / снижение доли возвратов - это как раз эффект фичи, который мы можем заложить через MDE.
2. На какие метрики смотреть и как их считать - Целевая метрика: маржа с учётом возвратов на участника эксперимента.
- Барьерная: доля возвратов по размеру.
- Вспомогательная: конверсия в добавление в корзину и конверсия в заказ
3. Что считать после внедрения
Добавление в корзину не равно заказу, заказ не равен выкупу, а выкуп не равен деньгам, пока не прошёл срок возврата.
Для колец это особенно важно.
Фича легко может поднять добавления в корзину и нарастить возвраты, если люди станут увереннее заказывать неверный размер.
Поэтому я бы считал эффект по когортам с закрытым окном возврата.
4. Что передавать в аналитические базы
Логировать один клик по ссылке недостаточно. Нужны показ ссылки, клик, выбранный размер, добавление в корзину, заказ, выкуп и причина возврата.
Самое важное - связка заказа с тем, пользовался ли покупатель подсказкой.
Без неё не отличить эффект фичи от сезонного роста категории.
5. Какой вариант катить на 100%
В условии спрятана ловушка.
Метрики, которые предлагают для принятия решения, ничего не говорят про юнит-экономику на пользователя.
Я предлагаю не менять целевую метрику и принимать решение по марже
Пишите в комментах, какие кейсы вы хотели бы разобрать. Рассмотрим их в следующих постах 🍕
