4. Offline-проверка

Модель обучили. Теперь нужно понять, стала ли она лучше по историческим данным.🚨

Тут старый добрый способ — взять исторические данные и посчитать offline-метрики: Recall, NDCG, HitRate, Coverage, Diversity, latency, потребление ресурсов и всё остальное, что важно конкретной системе.

Причём в зрелой системе недостаточно посмотреть только на одно среднее число. Метрики обычно считаются ещё и в разных разрезах.

Допустим, получили NDCG +2%. Звучит хорошо. Но дальше видим, что Coverage упал на 10%, а latency вырос на 25%. Сам расчёт всех этих метрик уже практически полностью автоматизирован. Pipeline обучил модель → посчитал метрики → сравнил с production-версией.

Но решение «достаточно ли это хорошо, чтобы идти в A/B» пока обычно принимает человек.👨‍🦲 Автоматизация сейчас: высокая.