🎯 Выбор каталога данных для организации

Сегодня подумаем над тем, что нужно учесть, при выборе каталога данных для внедрения в организации.

📌 Технологии источников данных Один из самых важных пунктов - понять, какие технологии хранилищ используются в организации (и в каких из них лежат данные, потенциально интересные с точки зрения бизнеса) и удостовериться, что выбираемое решение может работать с существующим стеком технологий. Также, здесь нужно учесть, нужно ли собирать метаданные из источников, которые не являются СУБД - API (в т.ч. gateway), очереди, метасторы и т.д.

📌 Какие именно атрибуты метаданных собирать? Помимо схемы данных, есть вероятность, что для процессов организации понадобится что-то большее - размеры датасетов, гранты пользователей, сэмплы данных, data lineage.

📌 Поиск Помимо полнотекстового поиска, важно учесть:

  • возможность фильтрации по необходимым атрибутам объектов
  • возможность задания расширенных фильтров и объединения их через логические операторы
  • возможность настройки параметров поисковой выдачи

📌 Управление доступом

  • Возможность разграничения прав пользователей
  • Возможность создания "ролей"
  • Интеграция с IAM: Поддержка LDAP/Active Directory, SAML, OAuth

📌 DG & DQ

  • Наличие бизнес глоссария (в т.ч. возможность связи терминов как между собой, так и с другими типами объектов)
  • Наличие разделения на домены
  • Интеграция с DQ инструментами, либо наличие собственного встроенного инструмента для проверки качества данных ✍️ Также здесь можно учесть уже существующие в компании процессы по управлению данными. Будет идеально, ли каталог сможет их поддержать и автоматизировать.

📌 Возможность доработки Если планируется дорабатывать каталог своими силами - будет важным наличие API и SDK

📌 Взаимодействие пользователей между собой Каталог данных может давать пользователям возможность коммуницировать посредством комментариев, расчета рейтинга/популярности объектов. К этой же категории относятся уведомления пользователей о различных событиях, происходящих с объектами.

📌 Масштабируемость и производительность

  • Возможность работы с большим количеством источников данных (и большим количеством объектов в них) как с точки зрения извлечения/загрузки данных, так и с точки зрения скорости работы поиска и в целом пользовательского интерфейса.
  • Гибкость развертывания: On-premise, cloud (SaaS, гибрид)

📌 Локализация - и документация

  • Наличие документации
  • Интерфейс и документация на русском языке

📌 Наличие поддержки и условия доработок Последний в списке, но не последний по важности пункт, в случае, если выбирается коммерческий каталог.

Безусловно, пунктов, которые нужно учесть значительно больше, но в первую очередь при выборе каталога стоит руководствоваться особенностями конкретной организации и ее бизнес-целями (в т.ч. с точки зрения управления данными).