Список инструментов и практик MLOps

1. Разработка и обучение моделей:

  • #TensorFlow, #PyTorch, #Scikit-learn: Это библиотеки для разработки и обучения моделей машинного обучения.

  • #Jupyter, #Google ₽Colab: Инструменты для интерактивного программирования и прототипирования.

2. Управление данными и версионировании

  • DVC (Data Version Control): Инструмент для версионирования данных и моделей.

  • #Apache #Kafka, Google Pub/Sub: Платформы для обработки потоковых данных.

3. Тестирование и валидация моделей:

  • #TensorBoard, #Weights & Biases: Инструменты для визуализации метрик модели и процесса обучения.
  • #Deequ, #Great Expectations: Библиотеки для тестирования качества данных.

4. Серверы для предсказаний и инференции:

  • TensorFlow Serving, TorchServe: Серверы для развертывания моделей TensorFlow и PyTorch.

  • #Seldon, KFServing: Фреймворки для развертывания моделей на Kubernetes.

5. Оркестрация и автоматизация:

  • #Kubeflow , MLflow: Платформы для оркестрации рабочих процессов машинного обучения.

  • #Airflow, Luigi: Инструменты для автоматизации рабочих процессов.

6. Мониторинг и алертинг:

  • Prometheus, #Grafana : Инструменты для мониторинга и визуализации метрик.

  • PagerDuty, Opsgenie: Платформы для управления инцидентами и алертинга.

Список инструментов и практик MLOps | Сетка — социальная сеть от hh.ru