В июне 2024 прошел форум EDW 2024
Основные моменты, касающиеся моделирования данных представлены в Части 1 - Моделирование данных - доступ уже открыт.
В этой статье поговорим про архитектуру данных.
-
Data warehouse architecture позволяет хранить данные из нескольких источников в центральном репозитории. Эти данные могут быть использованы для анализа истории изменений, а также для выявления трендов и прогнозирования. Это обеспечивает единую версию правды.
-
Data lake хранит необработанные данные в их собственном формате без изменений. Оно обеспечивает более быстрый доступ к данным, повышает производительность и сохраняет все исторические данные.
-
Data lakehouse объединяет в себе функциональные возможности хранилища данных и озер данных.
-
Data Fabric — это «новый подход в управлении данными, позволяющий создавать гибкие, повторно используемые и расширяемые конвейеры интеграции данных, сервисы и семантики» (определение Gartner). Data Fabric включает в себя дополнительные технологии, которые не предусматривают стандартные DWH, например, управление метаданными.
-
Data mesh — это децентрализованный подход к управлению данными, который охватывает различные слои архитектуры: данные, приложения и технологии. Этот подход включает несколько основных принципов: domain ownership, data as a product, self-service infrastructure, and federated computational governance (подробнее в статье Что такое Data Mesh).
👉 Ещё чуть больше инфо читай в посте на бусти