Вопрос-ответ: зачем считать метрики разнообразия?

Очень часто при разработке рекомендательных систем внимание уделяют только оффлайн-метрикам (map@k, ndcg@k и т.д.) или онлайн-метрикам (CTR, Retention и т.д.), но забывают про метрики разнообразия.

У рекомендательных систем существуют определенные проблемы, которые трудно выявить при помощи оффлайн и онлайн метрик. Одна из них — «информационный пузырь»: система начинает предлагать пользователю ассортимент слишком узкого спектра. Например, десять идентичных товаров, но от разных продавцов.

В сегодняшнем посте раскроем некоторые из метрик разнообразия.

🔵Intra-list diversity (Разнообразие внутри списка) Зачем используем: Понять насколько разнообразные товары мы рекомендуем пользователю.

За счет расчета ILD мы можем проверить, не рекомендуем ли пользователю слишком похожие товары.

🔵Item coverage (покрытие товаров рекомендациями) Зачем используем: Выяснить какой процент от всех товаров попадает в рекомендации.

За счет расчета item coverage мы контролируем, что шанс попасть в рекомендации есть у различных товаров из нашего каталога. Если item coverage метрика стала слишком низкой, это может свидетельствовать о смещении нашей рекомендательной системе в сторону популярных товаров.

🔵Novelty (Новизна) Зачем используем: Оцениваем, насколько новые и оригинальные рекомендации получает пользователь.

Например, мы не хотим рекомендовать всем пользователям онлайн-кинотеатра один и тот же популярный сериал. Вместо этого нам нужно показывать пользователям то, что они без нашей помощи не найдут. Оригинальность рекомендаций можно оценить с помощью метрики Novelty.

🔵Gini index (коэффициент Джини) Зачем используем: Оцениваем распределение рекомендуемых товаров.

Изначально коэффициент Джини разрабатывался как индикатор неравенства доходов в обществе. В случае рекомендательных систем индекс Джини оценивает разнообразие товаров.

Изменяется от 0 до 1. Индекс Джини равный 0 показывает, что объекты рекомендуются абсолютно равномерно, 1 — распределение объектов в рекомендациях максимально неравномерное.

Подписывайтесь: "Как приручить ИИ"