Бизнес-метрики против ML-метрик В машинном обучении легко забыться в красивых графиках и цифрах. На душе хорошо, когда MSE снизился, MAPE тоже, AUC-PR вырос, а ROC AUC перевалил за 0,9.
Рано радоваться. На хакатонах этого хватит. В бизнесе — нет. Идеальный по всем ML-метрикам алгоритм вполне может уводить маржу в минус.
И это естественно, ведь ML-метрики засекают точность предсказаний, а не влияние на выручку.
Представим рекомендательную систему с высокой полнотой. Система включает в выдачу почти все релевантные товары. Однако это не значит, что почти все товары в выдаче релевантные. Если в выдаче много товаров с низкой маржой, прибыль упадет.
И пока отчеты сияют метриками, CFO видит минус в P&L.
Бизнесу же нужны свои метрики: доход на пользователя, рост конверсии, увеличение среднего чека, удержание, LTV. Именно они показывают, есть ли деньги в улучшении модели. Поэтому главный вопрос при выборе ML-метрик — как они связаны с этими показателями.
Хорошая практика — строить мосты: ML → прокси → бизнес.
Например, для прогнозирования спроса: уменьшение MAPE (ML) → снижение частоты нехваток на полке (прокси) → рост реализованных продаж и выручки (бизнес).
Ошибка многих команд — оптимизировать удобные ML-метрики, которые легко считаются, но никак не коррелируют с маржой.
Еще одна ловушка — усреднение: среднее значение MAPE может скрывать катастрофические промахи в сегменте вип-клиентов, где потери особенно дорогие.
Поэтому рецепт такой:
1. Определите ключевые бизнес-метрики (например, LTV, ROMI, NPV).
2. Найдите ML-метрики, которые лучше всего предсказывают изменения именно этих показателей.
3. Валидируйте связь через A/B-тесты: действительно ли рост ML-метрики дал рост прибыли.
Так дата-сайентисты перестанут наводить красоту в дашбордах и начнут приносить деньги в кассу. ML-метрики нужны только для того, чтобы подтверждать рост маржи и ускорять принятие решений.
