eltdwh-airflow-dbt — учебный ELT-пайплайн, который делает то же, что реальные проекты, только в миниатюре.

Проблема: во многих интеграциях бизнес-логика мешается с кодом доставки, нет идемпотентности, не понятно, как воспроизвести загрузку.

Решение: 6 DAG-ов Airflow, которые трансформируют данные строго по очереди: XLSX → Валидация → CSV → Staging → Core (Data Vault) → Marts (Star Schema)

Airflow — только оркестрация и контроль. Вся бизнес-логика — в dbt.

Главный инженерный принцип, заложенный в проект: не превращать обработку данных в монолитный «всемогущий» скрипт, а дробить процесс на короткие изолированные операции.

Что внутри: • Проверка файлов перед загрузкой • Контроль количества строк при COPY • SCD2 через effective_from и effective_to • Data Vault (хабы, линки, сателлиты) • Витрины для аналитики

Зачем делал?

Чтобы убедиться, что я действительно вырос до инженера. Еще пару лет назад мне казалось, что я не смогу создать полноценный, промышленный ELT с нуля. А тут взял и сделал за пару недель в свободное от работы время.

Стек: Python, Airflow, dbt, PostgreSQL.

Ссылка на репозиторий с исходным кодом — в первом комментарии под этим постом.

#Airflow #dbt #ELT #DataEngineering #DataVault #eltdwh_pipeline #инженерияданных