❌Когда ML-решение вам не нужно?
Однажды к команде пришли с запросом: надо написать рекомендательную систему для нового сервиса статей. Потенциальных статей для рекомендаций было около 100.
Систему выкатили на прод, получили первые значения конверсии — около 5%. Но как понять, не зря ли работала команда?
Решили провести A/B тест: «Рекомендательный алгоритм» vs «Случайный алгоритм», подбирающий статьи рандомным образом.
И случайный алгоритм показал лучшее значение. В чем причина? 🔵Статей в новом продукте было мало и каждая новая статья проходила тщательную модерацию, так что они изначально были качественными. 🔵Пользователям были интереснее статьи на новую для них тему, а не похожие на те, что они уже прочли.
ML-модель мы отключили.
Какой вывод делаем из этой истории? Алгоритм ML должен решать существующую, а не выдуманную проблему. Если проблемы нет, тратить время на ML-решение — дорого и бессмысленно. __ Подписывайтесь: "Как приручить ИИ"
