Data leakage: 8 шагов к ML-метрике, которой можно верить
Всем привет 👋 😊
Модель даёт 0.93 на кросс-валидации и 0.86 в проде. Дрейфа нет — врёт сама процедура измерения.
Разбираем, где возникает #DataLeakage и почему sklearn Pipeline закрывает один слой утечки из трёх.
Тема не только для DS: модель в прод принимает бэкенд, и расхождение обучения с инференсом видно оттуда. #MachineLearning #MLOps
Обсуждаем маршрут из восьми шагов и код, который можно забрать к себе.
Ссылка на статью: https://habr.com/ru/companies/otus/articles/1067774/
Буду рад обсудить в комментариях 🤝