Data Quality | Качество данных
06.11
Про актуализацию проверок.
Как часто вы обновляете свои проверки? В идеальной картине, наверное, один раз сделал и забыл. В реальности, постоянно что-то меняется. Точнее, почти всё)
Меняется работоспособность кластера - нужно или менять TLA, или оптимизировать, или решать проблемы с железом; Меняется количество записей - расчеты идут дольше - снова или сдвиг TLA, или оптимизация, до какого-то момента; Появляются новые вводные, новые требования к продукту, новые потребители - всё это тянет за собой пересмотр проверок. Как бизнесовых, так и технических.
Понятно, что все изменения одномоментно сделать очень сложно. Зачастую, работа непосредственно над проверками остаётся на "когда-нибудь потом" и делается по остаточному принципу. Или приходят к необходимости обложить проверками уже готовый продукт. Или логикой, написанием и реализацией проверок занимается не автор витрины данных, а совсем другой человек, которому нужно сначала разобраться, как это всё работает. А ещё нужно подумать о технической реализации и способах получить человек очищаемый результат проверок.
В любом случае, стоит закладывать временные и человеческие ресурсы на это еще на этапе планирования, проектирования и оценке объёма работ.
Получается, работа над качеством данных - это постоянный непрерывный процесс совершенствования. Согласны?
еще контент в этом сообществе
еще контент в этом соообществе
Data Quality | Качество данных
06.11
войдите, чтобы увидеть
и подписаться на интересных профи