Оценка стратегий переподготовки моделей - на пути к науке о данных
•Изменение данных и концепций может ухудшить производительность модели ML. •Дрейф данных возникает, когда статистические свойства входных данных меняются. •Изменение концепции происходит, когда изменяется взаимосвязь между входными данными и целевой переменной. •Созданы наборы данных с контролируемым дрейфом данных и концепций. •Моделировались различные сценарии, включая устойчивое состояние, дрейф распределения, дрейф коэффициента и "черный лебедь". •Использовались стратегии переподготовки: "Нет", "Все данные" и "Окно". •В устойчивом состоянии стратегия "Все данные" показала наилучшие результаты. •При дрейфе распределения все стратегии показали схожие результаты. •При дрейфе коэффициента стратегия "Окно" показала лучшие результаты. •В сценарии "черный лебедь" стратегии "Все данные" и "Окно" восстановились, а "Без переподготовки" ухудшилась. •Устранить смещение концепций сложнее, чем смещение данных. •Важно разделять обучающие данные по времени записи. •Отсутствие переподготовки оказалось наихудшим вариантом. •Непрерывный мониторинг модели необходим для быстрого реагирования на снижение производительности.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
