По какой логике создавать DAGи и делить их между собой?

На практике без опыта может возникнуть желание объединить все процессы обновления данных в рамках одного DAG, чтобы не плодить множество разных.

Но если копнуть глубже, то к задаче формирования DAG нужно подходить внимательно

1. Каждый DAG имеет свое расписание запуска. Если нужно разное расписание или частота запуска, тогда нужны разные DAGи

2. Объединение множества задач в один DAG может быть критичным, когда нам например нужно чтобы часть задач из него не выполнялась, а остальные продолжали работать. Так сделать не получится, только переписывать DAG

3. В рамках задач обновления данных в витринах удобно создавать отдельные DAG с разным расписанием запуска, чтобы равномерно распределять нагрузку на кластер DWH, чтобы не было пиковых нагрузок в один момент времени

#вопрос_от_ученика

По какой логике создавать DAGи и делить их между собой?
На практике без опыта может возникнуть желание объединить все процессы обновления данных в рамках одного DAG, чтобы не плодить множество разных | Сетка — социальная сеть от hh.ru По какой логике создавать DAGи и делить их между собой?
На практике без опыта может возникнуть желание объединить все процессы обновления данных в рамках одного DAG, чтобы не плодить множество разных | Сетка — социальная сеть от hh.ru