Переход на Prefect подталкивает сотрудников AWS ECS к работе с данными
•Prefect 3.0 отказывается от агентской модели в пользу новой архитектуры Workers. •Обновление нарушило развертывания, но процесс оказался проще, чем ожидалось. •В Prefect 3 представлен новый тип рабочего пула Push Work Pool. •Пулы отправляют потоки данных для выполнения в бессерверную инфраструктуру. •Обновите файлы Python, содержащие потоки, для использования кода развертывания. •Укажите URL-адрес реестра AWS при создании контейнера ECR. •Укажите пользовательское имя рабочей очереди для предотвращения коллизий. •Prefect создает образ docker с файлом docker. •Пройдите аутентификацию в AWS ECR для создания образа. •Запустите файл python для развертывания. •Используйте один и тот же образ для всех потоков. •Убедитесь, что для всех потоков задано одинаковое имя. •Запустите несколько заданий одновременно. •Весь код хранится в одном месте, что упрощает развертывание. •Встроенный код копируется в образ при каждом загрузке. •ECS FARGATE экономичнее, чем EC2. •Платите только за время выполнения вычислений. •Обновление до Prefect 3.0 упростило управление конвейерами. •Push-пулы работ и интеграция с Docker делают управление потоками более эффективным. •AWS ECS FARGATE снижает расходы на вычисления. •Prefect 3.0 — мощное и экономичное решение для организации конвейеров передачи данных.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
