🔹 Путь данных: от источника до отчёта 🔹 Откуда в отчёте берутся цифры и где они могут испортиться? 🔸 Вы уже знаете, что дата-инженер строит путь от источника до потребителя. Что происходит с данными на этом пути? Они рождаются в базе приложения, во внешнем API, в файлах или в потоке событий.
🔸 Дальше загрузка забирает их из источника, хранилище сохраняет, а преобразование очищает и объединяет. Каждый этап решает свою задачу и передаёт результат дальше.
🔸 На выходе данные отдают потребителям: в отчёты, дашборды, модели и сервисы. Ошибка на раннем этапе тихо доходит до отчёта, поэтому каждый этап проверяют отдельно.
def extract(): return [120, 0]
def transform(amounts): return [a for a in amounts if a > 0]
def load(amounts): print(amounts)
load(transform(extract())) # [120]
📚 Данные проходят длинный путь, и проверять их нужно на каждом шаге, а не только в конце.
➡️ Мы в Telegram - Сетке - ВК Буду рад вашей реакции здесь⬇️
В этом посте были ссылки, но мы их удалили по правилам Сетки
