Список инструментов и практик MLOps
1. Разработка и обучение моделей:
-
#TensorFlow, #PyTorch, #Scikit-learn: Это библиотеки для разработки и обучения моделей машинного обучения.
-
#Jupyter, #Google ₽Colab: Инструменты для интерактивного программирования и прототипирования.
2. Управление данными и версионировании
-
DVC (Data Version Control): Инструмент для версионирования данных и моделей.
-
#Apache #Kafka, Google Pub/Sub: Платформы для обработки потоковых данных.
3. Тестирование и валидация моделей:
- #TensorBoard, #Weights & Biases: Инструменты для визуализации метрик модели и процесса обучения.
- #Deequ, #Great Expectations: Библиотеки для тестирования качества данных.
4. Серверы для предсказаний и инференции:
-
TensorFlow Serving, TorchServe: Серверы для развертывания моделей TensorFlow и PyTorch.
-
#Seldon, KFServing: Фреймворки для развертывания моделей на Kubernetes.
5. Оркестрация и автоматизация:
-
#Kubeflow , MLflow: Платформы для оркестрации рабочих процессов машинного обучения.
-
#Airflow, Luigi: Инструменты для автоматизации рабочих процессов.
6. Мониторинг и алертинг:
-
Prometheus, #Grafana : Инструменты для мониторинга и визуализации метрик.
-
PagerDuty, Opsgenie: Платформы для управления инцидентами и алертинга.