😉Вопрос с собеса на роль AI PM
Итак, что же было во вчерашнем посте зашифровано в стихах?) На днях наткнулась на пост одного нанимающего менеджера «Я у AI-продактов проверяю, как формулируют гипотезы и связывают ML с выручкой. Расскажи про таргет/фичи?» Погнали разбирать о чем это
Автор пишет про таргет vs фичи: ❗️Таргет (target или label) это про то, что модель предсказывает, например, уйдёт ли пользователь в churn-модели, то есть то что модель должна как бы угадать ❗️ML фичи (features) или признаки в этом контексте это про входные данные, типа возраст, частота логинов, LTV. Это не про продуктовые фичи типа кнопки «купить», а про числовые характеристики для модели. Так что отделяем одно от другого и не путаемся на интервью
Про связь ML с выручкой Простроиваем цепочку эффекта, когда улучшение ML-метрики должно цепляться к продуктовой метрике, которая напрямую влияет на ARPU, LTV, конверсию или средний чек
✅Precision/recall и влияние на клики/просмотры/конверсию Precision или точность это ответ на вопрос не ошибаемся ли мы, называя этот объект подходящим под условия? Типа сколько писем из помеченных как спам это реально спам? Recall или полнота это ответ на вопрос нашли ли мы все? Типа какую долю от реального спама мы смогли найти от общего числа? Хочешь максимизировать конверсию на показ, то поднимай precision. Хочешь не упустить потенциальных клиентов то поднимай recall, но следи, чтобы precision не просел слишком сильно
✅AUC и retention/churn Метрика AUC-ROC (Area Under the Receiver Operating Characteristic Curve) - это площадь под кривой ошибок, используемая для оценки качества бинарных классификаторов. Она измеряет способность модели разделять классы (например, «спам» или «полезное»), не завися от выбора порога отсечения. Она оценивает качество классификации, а не конкретные предсказания Высокий AUC и ваша модель хорошо чувствует, кто уйдёт, а retention‑кампании бьют точнее, как следствие churn падает, retention растёт. Низкий AUC и модель не умеет отличать рисковых от стабильных, твои продуктовые офферы идут не по адресу, а churn и retention почти не меняются или ухудшаются
✅NDCG и время в продукте/средний чек NDCG (Normalized Discounted Cumulative Gain) это метрика качества ранжирования, которая используется для оценки того, насколько хорошо поисковая система или рекомендательный сервис упорядочил объекты по степени их полезности для пользователя. В нашем примере про спам, стоят ли самые важные письма в самом верху списка. NDCG оценивает качество ранжирования (порядка элементов) с учетом релевантности, а AUC оценивает качество классификации (способность отличить положительный класс от отрицательного) Высокий NDCG в спам‑фильтре и реально спамовые письма хорошо отранжированы в топе, важные письма не теряются, пользователь быстрее разбирает с входящие и время в продукте не падает. Низкий NDCG и спам и важное смешаны, пользователь устает разбирать это руками, доверие к продукту падает, а средний чек не растёт, потому что зачем мне брать ультима тариф, если я на базовом не вижу ценности?
Дай знать реакцией полезно разбирать такое?
Ciao💚
