Простой пример использования PCA для обнаружения выбросов - на пути к науке о данных
•PCA преобразует данные в новое пространство, где выбросы легче обнаружить. •Одномерные тесты, такие как z-баллы, становятся более практичными после преобразования PCA. •Многомерные тесты, такие как Isolation Forest, также могут использоваться после преобразования PCA. •Одномерные тесты проверяют одну функцию за раз, выявляя редкие или экстремальные значения. •Многомерные тесты учитывают несколько характеристик, выявляя необычные комбинации значений. •Созданы два тестовых набора данных: datacorr с сильными ассоциациями и dataextreme с экстремальными значениями. •Преобразование PCA выполнено для обоих наборов данных. •Протестированы шесть детекторов PyOD: LOF, ECOD, HBOS, GMM, ABOD. •Время подгонки и прогнозирования значительно сократилось при использовании последних трех компонентов PCA. •Одномерные тесты, такие как HBOS и ECOD, показали значительное ускорение. •Все детекторы хорошо работали на обоих наборах данных, присваивая наивысшую оценку выброса последней строке.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
