что объясняю ETL и оркестрацию на примере шоу мартышек-рокеров. Смотрели когда-нибудь, как уличные музыканты пытаются сыграться без дирижёра? Каждый - виртуоз, но вместе - какофония. Вот так и data-пайплайны без оркестратора. Apache Airflow (пишет ноты заранее) или Prefect (импровизирует на лету (если мартышка уронила палочки, он сам перестраивает партию без остановки концерта)) - это тот самый парень с палочкой, который делает так, чтобы ударные вступили вовремя, а гитара не заглушала вокал. А мартышки - это наши скрипты, которые без управления начинают кидаться тарелками с данными.

Будем считать, что это стенд-ап для дата-инженеров. Понимание на сотку - серьезности на ноль 🤡