PostgreSQL + Airflow + Github - как устроена инфраструктура на курсе
В рамках обучения ученики будут работать в рамках построенной инфраструктуры, которую описал на схеме.
PostgreSQL - построен в данном случае как аналитическое хранилище, в котором данные разделены по слоям хранения. RAW - сырые данные, которые динамически обновляются CORE - общие преобразованные данные в чистые таблицы MART - слой витрин, который каждый ученик будет разрабатывать в рамках практики Apache Airflow - автоматизирует процесс сборки таблиц и витрин
GitHub - у каждого есть свой рабочий репозиторий, который играет 2 задачи
- хранение скриптов со всей логикой сборки данных
- создание и деплой DAG в Airflow для написания автоматизации
Такая практика и погружение в реальные инструменты позволяет максимально прокачать твои харды! 🔥
Чтобы у тебя даже в мыслях не было сказать
- "я не уверен в своих знаниях"
- "я не силен в технических навыках"
- "я могу решать только простые задачи"
Если что-то непонятно, пишешь вопросы, я веду группу учеников лично
