Как развивалась разработка данных с 2014 года - на пути к науке о данных
• Современные инструменты обработки данных: Airflow, Luigi, Prefect, Temporal, Flyte, Dagster, Маг, Оркестр. • Airflow: платформа для создания, планирования и отслеживания рабочих процессов с поддержкой Python и DAG. • Luigi: инструмент для обработки больших объемов данных с поддержкой HDFS и Python. • Prefect: простой и легкий инструмент с поддержкой Python и динамическим сопоставлением. • Temporal: отказоустойчивость, масштабируемость, мониторинг и поддержка временных запросов и рабочих процессов. • Flyte: инструмент оркестровки для управления рабочими процессами машинного обучения на базе Kubernetes. • Dagster: инструмент управления данными с открытым исходным кодом для создания, тестирования, развертывания и мониторинга конвейеров передачи данных. • Маг: решение для обработки данных в реальном времени с поддержкой нескольких языков программирования и интеграции с различными источниками и назначениями. • Оркестр: бессерверная модульная архитектура для создания систем управления корпоративного уровня за считанные минуты.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
