Как работают слои хранилища данных на примере игрушечного склада

1. Landing (Сырые данные) — «Коробка с только что купленными игрушками»

- Что это: Вы пришли из магазина и вывалил все новые игрушки в одну большую коробку в прихожей.

- Как есть: В коробке всё вперемешку: машинки, куклы, детали конструктора. Некоторые игрушки еще в упаковках, некоторые грязные. Это сырые, не тронутые данные.

- Что делаем: Просто смотрим, что у нас есть, и складываем в одну кучу. Пока никакой уборки!

Это слой, куда данные попадают прямо из разных источников (сайтов, приложений, касс) без всяких изменений.

2. Staging (Предобработка) — «Стол для разбора игрушек»

Что это: Мы берем коробку из прихожей и несем ее к своему столу, чтобы начать разбирать.

Как есть: Здесь мы снимаем упаковки с игрушек, вытираем пыль, выкидываем явный мусор (например, фантики). Мы подготавливаем игрушки, чтобы их можно было аккуратно расставить по полкам.

Что делаем: Приводим всё в порядок, но еще не раскладываем по постоянным местам.

Здесь данные очищаются от очевидного мусора, приводятся к одному формату, но их структура пока не меняется.

3. ODS (Operational Data Store) — «Полка с самыми нужными игрушками на сейчас»

- Что это: Это открытая полка в детской комнате, куда мы ставим игрушки, в которые играем каждый день.

- Как есть: Здесь лежат наши самые любимые машинки и куклы. Мы знаем, где какая стоит, и можем быстро взять то, что нужно. Если у машинки появилась царапина, ты просто ставишь ее обратно на ту же полку — данные всегда самые свежие.

- Что делаем: Быстрый доступ к актуальным игрушкам (данным) для повседневных дел.

Слой для оперативной отчетности, где данные из разных источников объединены и всегда показывают текущее состояние.

4. DDS (Detail Data Store) — «Большой каталог всех игрушек с их историей»

- Что это: Это главная, самая аккуратная и умная картотека твоего склада.

- Как есть: В этой картотеке на каждую игрушку есть своя карточка. В ней записано: Когда ты ее купил.

Какого она была цвета, когда была новой.Если ты ее перекрасил, то в карточке есть старая фотография и новая.Сохраняется вся история жизни игрушки!

- Что делаем: Здесь мы наводим идеальный порядок, всё подписываем и запоминаем все изменения. Это «золотой» источник правды.

Здесь данные очищены, унифицированы и сохранены со всей историей их изменений. Это основа для любых серьезных отчетов.

5. DM (Data Marts — Витрины данных) — «Тематические наборы для игры»

- Что это: Это готовые наборы для игры, которые ты собрал из своих игрушек.

- Как есть: Например, мы собрали в одну корзину «Набор для строительства замка»: только кубики определенного размера, фигурки рыцарей и зеленый коврик-траву. Или «Набор для гонок»: только красные машинки и гоночные треки.

- Что делаем: Мы берем игрушки из главной картотеки (DDS) и создаем из них удобные тематические наборы для конкретной цели или конкретного человека (например, для братика, который любит только машинки).

Это готовые, удобные для бизнес-пользователей наборы данных, заточенные под конкретные отделы (например, для отдела продаж или маркетинга).

Хранилище данных — это как волшебный склад игрушек, где всё не просто скинуто в кучу, а проходит несколько этапов:

Коробка -> Стол для чистки -> Открытая полка -> Главная картотека -> Готовые наборы для игры.

Каждый слой нужен, чтобы данные (игрушки) были чистыми, аккуратными, чтобы мы знали их историю и могли быстро собрать именно то, что нужно для любой игры (или бизнес-задачи)!