Всем привет! В прошлом посте мы с вами разбирали, какую метрику выбрать для модели, которая определяет, отпустит ли нас жена пить п*во с друзьями или нет.

Мы говорили про Precision и Recall обособленно, но можем использовать их вдвоем. Например, когда нам необходимо найти какое-то взвешенное между этими двумя метриками. Первое, что приходит в голову, - это сложить две метрики и поделить пополам. Но у этого есть большой минус. Если какая-то из двух метрик равна нулю, результат не будет равен нулю. И он будет ошибочным.  Поэтому есть F1-score. Это среднее гармоническое. То есть, 2 умножить на их произведение и делить на их сумму:

F1 = 2 × Precision × Recall / (Precision + Recall)

F1 используют, когда нужно сбалансированно учитывать и Precision, и Recall, когда нам важны и FP, и FN, и нет явного приоритета в одну сторону. На примере с п*вом и женой. Если одинаково страшно обломаться после ложного обещания и пропустить реальное одобрение, берем F1. Если ложное да страшнее, смотрим на Precision. Если страшнее пропустить возможность, смотрим на Recall. Если хочется сместить баланс, есть F_beta, но когда-нибудь потом))))

Precision-Recall Curve

Теперь поговорим об этой кривой. Мы с вами знаем, что любая модель классификации не предсказывает сам класс, она предсказывает вероятность принадлежности объекта к какому-либо классу. И, допустим, мы получаем вероятность 0,9, что жена отпустит нас пить п*во. Человек сам может регулировать значение вероятности, которое считается положительным. То есть если больше либо равно чем 0,9, например, значит, модель предсказала да. Соответственно, у нас есть набор вот этих порогов, и для каждого из этих порогов мы можем пересчитать Precision и Recall. Таким образом, мы построим кривую Precision-Recall. И уже по ней определим, при каких значениях Precision мы можем получить допустимый для нас Recall. И тем самым регулирует вот этот порог. Кстати, кривая полезна тем, что регулируя порог, мы можем найти такое значение, при котором F1-score будет максимальным

Ещё можно смотреть площадь под PR-кривой. Метрика называется Average Precision. Она полезна для сравнения моделей. Но в нашей задаче она излишня))