Системный подход в управлении данными

Почему успешным является менее 10% от всего внедрения ИИ?

Да потому что если засунуть ваш ИИ непонятно что, то на выходе будет результат не лучше. Чудес не бывает. И если не выстроена система управления данными, то коричневая субстанция - это скорее всего не шоколад

Управление данными - это кросс функциональная задача. Это как финансовый менеджмент: деньгами пользуется вся компания, и только финансы определяют правила игры для всех. И тут важна системность и системный подход т.к. нельзя рассматривать отдельные компоненты в отрыве от целого.

При рассмотрении системного подхода можно выделить следующие направления: Целостность и эмерджентность: свойства системы не сводятся к сумме свойств её частей. Работа отдельных частей иногда создает уникальные свойства, присущие только системе в целом но не отдельными их частям. Например связка управление метаданными, архитектура и качество данных вместе образуют совершенно иную систему, которая так же приносит дополнительные эффекты.

Иерархичность: любая система является частью чего то более крупного, а её элементы- подсистемы. Например когда ML и DS выделяют в отдельный отдел и они живут своей жизнью. При этом до 80% своего времени тратят на поиск и отчистку данных. А будь они встроены в одну систему - эффективность повышается в разы.

Структурность: Связи и отношения между элементами системы упорядочены и устойчивы. Изменение структуры часто важнее изменения отдельных элементов. Вот тут прям классическая проблема: управление данными живет отдельно в каждом домене и внутри домена всё хорошо, но когда данными начинают пользоваться другие - сразу встает куча вопросов относительно связанности данных и процессов управления ими.

Зависимость от внешней среды: Система черпает ресурсы из внешней среды и отдаёт в неё продукты своей деятельности. Она «жива», пока обменивается со средой. Нет ничего в вакууме. Здесь конечно сразу приходит на ум продуктовый подход: нужно делать те продукты, которые решают задачу конкретного потребителя, а не тешат самолюбие разработчиков)

Множественность описания: Сложную систему можно описывать по-разному, с разных точек зрения. Вот тут прям очень часто в своей практике вижу такую ситуацию: одни и те же данные и процессы каждый домен рассматривает по-своему. И нужен кто то, кто сможет взглянуть на это сверху, связать всё между собой и добиться единого понимания. Очень часто это не решаемая задача...

И как вывод: Системный подход - это умение видеть весь лес в целом а не отдельное дерево. Без него сложные проблемы обычно либо не решаются, либо решаются ценой появления ещё более крупных проблем в другом месте.

Системный подход в управлении данными | Сетка — социальная сеть от hh.ru