Про качество данных

В конце прошлого года я зачитывалась книжками. И в одной из них мне понравилось выражение, что данные - это "тихий убийца". Мы можем даже не понимать, что они некачественные, но в какой-то момент это выстрелит.

😭 Был кейс, когда одна команда сделала финансовую отчетность на основе некорректных данных и направила куда-то выше. В этой отчетности цифры были сильно меньше, чем потратили. И встал вопрос - а куда делись все остальные средства? Так что это может довести до серьезных последствий.

❤️‍🩹 А вообще качество данных - это очень хрупкая вещь.

Где может пойти не так? ▶️при выгрузке из источника (поставили лишний фильтр) ▶️при передаче между системами (все задублировалось, потеряли куски информации) ▶️при интеграции нескольких источников (не на все данные прописаны правила сопоставления) ▶️при анализе (неправильно посчитали)

А это очень милая и грустная аномалия в контексте целостности данных: ▶️сироты - когда внешние ключи никуда не ведут

Каждый, кто прикасается к данным, способен повлиять на их качество. Обеспечение качества данных — предмет заботы всей организации, а не только команды качества данных или ИТ.

Руководство данными нужно для того, чтобы «делать правильные вещи» (Doing the right things), а управление данными — для того, чтобы «делать вещи правильно» (Doing things right)