Data Governance для чайников
16.10
👆Классическое представление хранилища времён Inmon/Kimball - картинка нужна для наглядной демонстрации места терминов OLTP и OLAP.
OLTP - метод обработки данных, в основе которого лежит использование транзакций с данными. OLTP-системы (Online Transaction Processing) предназначены для ввода, структурированного хранения и обработки информации в режиме реального времени. OLTP-системы - это транзакционные системы для учёта/регистрации операций и действий, которые мы производим при выполнении различных процессов.
В цикле управления хранилищем данных такие системы обычно находятся в слое источников данных (на рисунке Data Sources).
✔️ Для OLTP-системы важно успешное завершение транзакций и откат в исходное состояние данных, если транзакция не удалась.
Пример: Перевод денег с одного банковского счёта на другой. Если система снимет деньги со счета №1, но не сможет зачислить их насчет №2, то деньги будут потеряны. Очевидно, что если зачислить деньги не удалось, то и снятие денег со счета нужно отменить.
Ещё про OLTP: https://ru.m.wikipedia.org/wiki/OLTP
OLAP - метод обработки данных, в основе которого лежит использование запросов к данным. OLAP-системы (online analytical processing) предназначены для анализа данных, который предполагает проведение над данными таких операций как агрегация, структурирование и вычисления с целью предоставления пользователю результата в виде выборок и отчетов.
Аналитические системы не производят новых данных, а лишь обрабатывают данные, полученные из транзакционных систем. В цикле управления хранилищем данных такие системы обычно находятся в слое представления или использования данных (на рисунке Data Access).
✔️ Для OLAP-системы важна скорость выполнения запросов на больших массивах данных.
Пример: данные клиентов могут быть сгруппированы по городам или регионам страны (Запад, Восток, Север и так далее), таким образом, 50 городов, восемь регионов и две страны составят три уровня иерархии с 60-ю членами. Также клиенты могут быть объединены по отношению к продукции; если существуют 250 продуктов по 20 категориям, три группы продукции и три производственных подразделения, то количество агрегатов составит 16 560. При добавлении измерений в схему количество возможных вариантов быстро достигает десятков миллионов и более.
Классическим представителем OLAP являются BI-системы. Большое исследование и анализ рынка BI-систем вы можете найти по ссылке - Исследование русских BI-вендоров, российское ПО бизнес-аналитики (системы класса business intelligence).
Ещё про OLAP: https://ru.m.wikipedia.org/wiki/OLAP
еще контент в этом сообществе
еще контент в этом соообществе
Data Governance для чайников
16.10
войдите, чтобы увидеть
и подписаться на интересных профи