Добавление текста песни в Spotify: стоит ли праздновать победу? 🎉
Разберем последний вопрос продуктового кейса про добавление текста песни в Spotify. Мы видим, что целевая метрика значимо выросла. Но можно ли сразу праздновать победу? В эксперименте участвовали все, кто видел или мог бы видеть кнопку "Показать текст песни". Однако, фактически воспользовались новым функционалом всего 1.5% пользователей. Среднее количество часов стриминга в этой небольшой группе не выросло относительно базы.
Получается, что весь рост целевой метрики обеспечили те пользователи, которые только видели кнопку, но не кликали на нее. Подтверждают ли данные гипотезу о том, что текст песни повышает активность использования сервиса? Нет. Более вероятно, что мы имеем на руках false positive. Дешевле всего проверить это перезапуском эксперимента с теми же параметрами. Из-за низкого интереса пользователей, эта фича не может дать значительного роста целевой метрики с такой аудиторией.
Протокол принятия решения по А/Б эксперименту – это не только проверка стат значимости на целевой метрике, но и анализ дополнительных метрик. Ценность эксперимента не только в результате, но и в установлении важного факта о потребностях клиентов. Основываясь на этом факте, вы будете строить дальнейшие планы и стратегии, которые не должны основываться на ложных предпосылках.
Приз за лучший комментарий достается Yuliya, которая первая сформулировала корректные выводы из эксперимента. Приз зрительских симпатий присуждается коллективному варианту ответа: "Признаем эксперимент неудачным, но раскатываем на всех с формулировкой 'не зря же старались!'"
