Я думала, что всё просто. После изучения классического ML казалось, что есть чёткие правила: когда и какую метрику использовать. Но на практике, как обычно, все оказалось сложнее.

Я могу долго разбираться с каждой новой темой: для меня важно не просто выучить, а понять, как применять на практике. Иначе для меня это не работает (как и для модели 😅).

Естественно, я пошла смотреть, какие метрики используют именно в медицинских кейсах. И вот что поняла, почитав статьи на PubMed и изучив несколько соревнований на Kaggle: классические метрики используют в сочетании друг с другом.

Вот мои мысли по некоторым метрикам:

* MAE — легко объяснить врачу. Если модель предсказывает давление, и MAE равно 20 мм рт. ст., это значит, что в среднем предсказание отклоняется на 20 единиц. Интерпретация супер!

* RMSE — отлично реагирует на выбросы. Если один пациент вдруг имеет верхнее давление 220 мм рт. ст. (и это не просто выброс, а клинически опасное состояние), RMSE сразу это покажет, а MAE может «спрятать» такую ошибку. То же самое касается лабораторных анализов — например, высокий уровень инсулина - также клинически значим, и RMSE помогает такие случаи заметить.

* R² — показывает, насколько хорошо модель объясняет данные. Чем ближе к 1, тем лучше. Для врачей она, возможно, не слишком наглядная, но для data scientist очень полезна, и по ней еще можно сравнивать модели между собой. (Хотя где-то читала, что на реальных проектах с R² не всё так просто… интересно, почему? 🧐)

Итоги, выводы и еще рассуждения: реальное значение метрик я поняла только на практике и при изучении реальных кейсов. До этого я была уверена, что RMSE вообще бесполезна, и не понимала кому нужен квадрат с корнем 😅.

Теперь я понимаю, что метрики — это как жизненные показатели для модели: они показывают, где всё отлично, и модель будет работать, а где нет. И, как в медицине, лучше смотреть на несколько показателей сразу!