C&B партнёр | Менеджер по мотивации
· 30.08.2024 · ред.Вопрос
Вопрос к IT: кто отвечает за качаство и чистоту данных? пример я распишу в комментарии под вопросом👇🏼
12 комментов
· 30.08.2024
На нормальных проектах должен быть инженер данных. Он и отвечает в том числе за контроль качества данных. Заказчику это делать вообще противопоказано (личное мнение). Если в работе используются алгоритмы машинного обучения, то успех всего проекта зависит от качества подготовки данных процентов так на 95.
0
ответить
коммент удалён
· 30.08.2024
Я склонна с вами согласиться)) проверка на всякие новые штучки в данных, это в ETL можно зашить? (которые например HRы или финансисты внесли в справочники БД)
0
ответить
ответ удалён
· 30.08.2024
Такие случаи как ваш можно зашить в ETL (предварительная оценка). Но, например, если система делает какую-то автоматизированную оценку (цели выполнены/ не выполнены; оценка качества работы hr и т.д.), то тут нужен ряд дополнительных действий и слепым ETL ограничиваться нельзя, иначе высок риск ошибок
0
ответить
ответ удалён
· 11.09.2024
Да, ок)) я просто не разбираюсь особо, нахваталась по верхам)) вы наверное имеете ввиду настройки самого дашборда? Формулы там например? То как расчёт метрик прописан?
0
ответить
ответ удалён
· 30.08.2024
Отслеживаете вы как заказчик дашборда и ставите задачу ИТ на корректировку в нужный результат если видите несоответствие к текущим задачам.
0
ответить
коммент удалён
· 30.08.2024
Александр, спасибо что подключились к обсуждению😁
Мне вот почему-то казалось что это можно зашить в процессы ETL, и чтобы человек на стороне IT это чинил. Просто я не понимаю где тут автоматизация, если мне вручную приходится самой проверять данные?
0
ответить
ответ удалён
· 30.08.2024
Мы кстати с вами хоть немного, но коллеги)) как то в СНИИП работала, они на сколько я помню тогда к Атомэнергомаш относились. Внедряли там 1С немножко))) "с нуля")))
0
ответить
ответ удалён
· 11.09.2024
Автоматизация в теории в том что проверить их надо один раз. Если их надо проверять ПОСТОЯННО надо идти бить базовиков
0
ответить
ответ удалён
· 30.08.2024
Пример: Есть SAP и есть дашборд в который заливаются данные из SAP. В дашборде мы видим конечную красивую картинку HR метрик.
Ситуация например: В SAP ввели новый признак или новый статус которого ранее не было, то есть для которого в алгоритмах обработки данных не заложено условие. В итоге мы имеем что либо эти данные не попадают в дашборд либо криво попадают не туда.
Кто должен это отслеживать? Это же относится к процессам ETL?
Так как я отвечала за качество HR отчётности в работе, я нашла для себя только один выход, самой вручную выгружать данные из SAP и выгружать данные из BI дашборда и сравнивать их на предмет ошибок и так сказать "новинок" 😁 И потом писать коллегам из IT кто дашборды поддерживает чтобы поправили...
0
ответить
коммент удалён
· 11.09.2024
Дашборд сидит явно на какой то базе он не может работать без нее etl это средство загрузки. Отсюда вывод. С некорректностью данных должны бороться люди с ETL и базовик. С недостаточностью ETL
0
ответить
ответ удалён
· 11.09.2024
Вообще говоря разработчики баз данных. Если есть отдельные люди на етлки то в том числе и они. Но по хорошему на базе должны стоять механизмы входного контроля плюс скрипты регулярной проверки валидности и консистентности. Когда то давно первичным контролем занимались и клиентские приложения
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 11.09.2024
Воо)) а я каждый месяц всё ручками в Excel проверяла😁 считаю что это дич какая-то и занималась я не своей работой, а чужой, но я не могла иначе, ибо люблю когда данные идеально чистые💎😎 Теперь, я наконец-то узнала что к чему)) спасибо😁👍🏻 Из меня бы неверное получился хороший разработчик))
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён