Список инструментов и практик MLOps
1. Разработка и обучение моделей:
- #PyTorch, #Scikit-learn: Это библиотеки для разработки и обучения моделей машинного обучения." hx-get="/tags/TensorFlow, #PyTorch, #Scikit-learn: Это библиотеки для разработки и обучения моделей машинного обучения." hx-push-url="/tags/TensorFlow, #PyTorch, #Scikit-learn: Это библиотеки для разработки и обучения моделей машинного обучения." hx-target="body" hx-swap="innerHTML" >#TensorFlow, #PyTorch, #Scikit-learn: Это библиотеки для разработки и обучения моделей машинного обучения.
- #Google ₽Colab: Инструменты для интерактивного программирования и прототипирования." hx-get="/tags/Jupyter, #Google ₽Colab: Инструменты для интерактивного программирования и прототипирования." hx-push-url="/tags/Jupyter, #Google ₽Colab: Инструменты для интерактивного программирования и прототипирования." hx-target="body" hx-swap="innerHTML" >#Jupyter, #Google ₽Colab: Инструменты для интерактивного программирования и прототипирования.
2. Управление данными и версионировании
-
DVC (Data Version Control): Инструмент для версионирования данных и моделей.
- #Kafka, Google Pub/Sub: Платформы для обработки потоковых данных." hx-get="/tags/Apache #Kafka, Google Pub/Sub: Платформы для обработки потоковых данных." hx-push-url="/tags/Apache #Kafka, Google Pub/Sub: Платформы для обработки потоковых данных." hx-target="body" hx-swap="innerHTML" >#Apache #Kafka, Google Pub/Sub: Платформы для обработки потоковых данных.
3. Тестирование и валидация моделей:
- #Weights & Biases: Инструменты для визуализации метрик модели и процесса обучения." hx-get="/tags/TensorBoard, #Weights & Biases: Инструменты для визуализации метрик модели и процесса обучения." hx-push-url="/tags/TensorBoard, #Weights & Biases: Инструменты для визуализации метрик модели и процесса обучения." hx-target="body" hx-swap="innerHTML" >#TensorBoard, #Weights & Biases: Инструменты для визуализации метрик модели и процесса обучения.
- #Great Expectations: Библиотеки для тестирования качества данных." hx-get="/tags/Deequ, #Great Expectations: Библиотеки для тестирования качества данных." hx-push-url="/tags/Deequ, #Great Expectations: Библиотеки для тестирования качества данных." hx-target="body" hx-swap="innerHTML" >#Deequ, #Great Expectations: Библиотеки для тестирования качества данных.
4. Серверы для предсказаний и инференции:
-
TensorFlow Serving, TorchServe: Серверы для развертывания моделей TensorFlow и PyTorch.
- #Seldon, KFServing: Фреймворки для развертывания моделей на Kubernetes.
5. Оркестрация и автоматизация:
- #Kubeflow , MLflow: Платформы для оркестрации рабочих процессов машинного обучения.
- #Airflow, Luigi: Инструменты для автоматизации рабочих процессов.
6. Мониторинг и алертинг:
-
Prometheus, #Grafana : Инструменты для мониторинга и визуализации метрик.
-
PagerDuty, Opsgenie: Платформы для управления инцидентами и алертинга.