💧 Python начинает колыхать воды… 💧
ETL для людей: понятная архитектура и работающие пайплайны
Спикер: Владимир Ефимов
📅 Когда: 20 сентября 📍 Где: коворкинг fun(c), г. Самара, ул. Скляренко, 32 🔗 Регистрация на митап в Самаре: вот тут Данные бывают разными: структурированными и хаотичными, в базах данных, API и просто в файлах. Если их не собирать и не приводить к единому виду - они остаются просто шумом. Чтобы превратить этот шум в ценность, мы строим ETL-пайплайны.
В этом докладе мы разберёмся, как построить надёжный и масштабируемый ETL-процесс с нуля — от архитектуры до развёртывания в Kubernetes.
В программе:
- Эталонная архитектура ETL процессов и ключевые принципы проектирования.
- Основы Airflow и лучшие практики создания DAG-ов на Python.
Почему стоит посетить?
- Создадим один царь DAG, чтобы править всеми! 😈
- Настроим синхронизацию пайплайнов с Git-репозиторием.
- Развернём ETL в Kubernetes и напишем свой KubernetesPodOperator.
- Узнаете про лайфхаки, практические советы, боль и факапы на реальных ETL проектах.
В этом посте были ссылки, но мы их удалили по правилам Сетки
