Основы качества данных, глава пятая, часть 1/2.

Мысли об архитектуре для обеспечения надёжности данных.

📎 Большие корпорации уже больше 5 лет говорят о том, что качественные данные лежат в их основе.

📎 Надёжность данных является результатом высокого качества данных. Это способность обеспечить доступность и работоспособность данных.

📎 Её нужно целенаправленно встраивать на все уровни.

📎 Качество принимаемых решений зависит от данных.

📎 Обнаружение проблем с данными в момент их приёма может свести к минимуму большие проблемы в дальнейшем.

📎 Обогащение данных может повысить их ценность, сделать более полезными и надёжными.

📎 Основные типы тестирования качества данных: ⤵️ Модульное ⤵️ Функциональное ⤵️ Интеграционное

📎 Общие проверки ККД: ✅ На нулевые значения ✅ На null ✅ На актуальность ✅ На объем ✅ На выбросы в диапазоне ✅ На отсутствующие значения

📎 Перед тем, как начинать тестирование, нужно понять, что за данные и какие критерии "плохих" данных.

📎 Тестирование выявит только ожидаемые проблемы.

📎 Данные сильно меняются на своём пути, их нужно регулярно проверять.

📎 Обеспечение качества данных в процессе обработки основывается на: 🟢 Свежесть (не то же самое, что актуальность) 🟢 Распределение 🟢 Объём 🟢 Схема 🟢 Происхождение

📎 На дашборды можно выводить общую информацию: ➡️ Соотношение всех данных к неактуальным или ошибочным ➡️ Количество нулевых или отсутствующих значений ➡️ Процент повторяющихся значений ➡️Согласованность данных ➡️ Количество функциональных групп, которые используют эти данные (потребителей)

📎 Основные слои платформы данных: 📊 Приём 📊 Хранение и обработка 📊 Преобразование и моделирование 📊 Аналитика всех видов 📊 Качество данных и наблюдаемость 📊 Обнаружение и управление данными

📎 Данные, проверенные при приёме не обязательно останутся надёжными по мере их продвижения

📎 Основные типы хранения данных, без приоритезации. Ни одно не лучше другого, для разных организаций или на разных этапах могут меняться: 1️⃣ Data Base 2️⃣ Data Lake 3️⃣ Data Warehouse

📎 Преобразование - подготовка для анализа и составления отчетов.

📎 Моделирование - определение ключевых концепций и связей.

📎 Без визуализации данные практически недоступны и их сложно использовать.

📎 Экосистемы становятся больше и сложнее и используют большие объемы неструктурированных и бессхемных данных, каталоги данных могут отказаться неэффективными из-за отсутствия автоматизации и неспособности масштабироваться.