arrow

назад

ask

Вопрос

Вопрос к IT: кто отвечает за качаство и чистоту данных? пример я распишу в комментарии под вопросом👇🏼

repost

256

input message

напишите коммент


12 комментов

· 11.09.2024

Вообще говоря разработчики баз данных. Если есть отдельные люди на етлки то в том числе и они. Но по хорошему на базе должны стоять механизмы входного контроля плюс скрипты регулярной проверки валидности и консистентности. Когда то давно первичным контролем занимались и клиентские приложения

0

ответить

Воо)) а я каждый месяц всё ручками в Excel проверяла😁 считаю что это дич какая-то и занималась я не своей работой, а чужой, но я не могла иначе, ибо люблю когда данные идеально чистые💎😎 Теперь, я наконец-то узнала что к чему)) спасибо😁👍🏻 Из меня бы неверное получился хороший разработчик))

0

ответить

На нормальных проектах должен быть инженер данных. Он и отвечает в том числе за контроль качества данных. Заказчику это делать вообще противопоказано (личное мнение). Если в работе используются алгоритмы машинного обучения, то успех всего проекта зависит от качества подготовки данных процентов так на 95.

0

ответить

Я склонна с вами согласиться)) проверка на всякие новые штучки в данных, это в ETL можно зашить? (которые например HRы или финансисты внесли в справочники БД)

0

ответить

Такие случаи как ваш можно зашить в ETL (предварительная оценка). Но, например, если система делает какую-то автоматизированную оценку (цели выполнены/ не выполнены; оценка качества работы hr и т.д.), то тут нужен ряд дополнительных действий и слепым ETL ограничиваться нельзя, иначе высок риск ошибок

0

ответить

Да, ок)) я просто не разбираюсь особо, нахваталась по верхам)) вы наверное имеете ввиду настройки самого дашборда? Формулы там например? То как расчёт метрик прописан?

0

ответить

Отслеживаете вы как заказчик дашборда и ставите задачу ИТ на корректировку в нужный результат если видите несоответствие к текущим задачам.

0

ответить

Александр, спасибо что подключились к обсуждению😁

Мне вот почему-то казалось что это можно зашить в процессы ETL, и чтобы человек на стороне IT это чинил. Просто я не понимаю где тут автоматизация, если мне вручную приходится самой проверять данные?

0

ответить

Мы кстати с вами хоть немного, но коллеги)) как то в СНИИП работала, они на сколько я помню тогда к Атомэнергомаш относились. Внедряли там 1С немножко))) "с нуля")))

0

ответить

· 11.09.2024

Автоматизация в теории в том что проверить их надо один раз. Если их надо проверять ПОСТОЯННО надо идти бить базовиков

0

ответить

Пример: Есть SAP и есть дашборд в который заливаются данные из SAP. В дашборде мы видим конечную красивую картинку HR метрик.

Ситуация например: В SAP ввели новый признак или новый статус которого ранее не было, то есть для которого в алгоритмах обработки данных не заложено условие. В итоге мы имеем что либо эти данные не попадают в дашборд либо криво попадают не туда.

Кто должен это отслеживать? Это же относится к процессам ETL?

Так как я отвечала за качество HR отчётности в работе, я нашла для себя только один выход, самой вручную выгружать данные из SAP и выгружать данные из BI дашборда и сравнивать их на предмет ошибок и так сказать "новинок" 😁 И потом писать коллегам из IT кто дашборды поддерживает чтобы поправили...

0

ответить

· 11.09.2024

Дашборд сидит явно на какой то базе он не может работать без нее etl это средство загрузки. Отсюда вывод. С некорректностью данных должны бороться люди с ETL и базовик. С недостаточностью ETL

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится