🎁 Кастомные атрибуты в Каталоге данных: зачем, как и по каким правилам
🤨 Что это? Кастомные атрибуты — это дополнительные метаданные сверх стандартных в Каталоге данных (название, тип, владелец), которые добавляют бизнес-контекст: критичность, связь с продуктом, уровень качества, категория персональных данных, срок хранения, статус монетизации и прочее
🤔 Зачем они нужны? ⦁ Быстрый поиск и навигация (фильтры по критичности, продукту, наличие персональных данных) ⦁ Соблюдение политик и комплаенс-процедур (аудит правил работы с персональными данными) ⦁ Операционное управление (уровень качества, владелец) ⦁ Коммерциализация данных (тариф, статус данных как продукта)
😐 Ключевые принципы, которые нужно соблюсти при создании таких атрибутов ⦁ Владение: у каждого атрибута есть владелец (ФИО, подразделение) ⦁ Use case: атрибут создается под конкретный бизнес-кейс ⦁ Одна точка правды: не дублируем в тегах/описаниях; устаревшие теги выводим из эксплуатации ⦁ Автоматизация: максимум авто‑заполнения из источников, минимум ручного ввода; поддерживаем загрузку через API (по заявке) ⦁ Валидация и обязательность: владелец задает правила заполнения, контроль покрытия и ответственность ⦁ Область применения: владелец указывает список объектов, к которым атрибут применяется
🙂Как внедряем (короткая методология) 1. Инициатор подает запрос в DataGov 2. DataGov проверяет на соответствие принципам 3. DataGov создает атрибут в Каталоге данных 4. Заполнение: ⦁ Авто/миграция из источников — приоритетный путь ⦁ Ручной ввод — только где нельзя автоматизировать (заполняет Data Steward) 5. Встраиваем в текущие процессы: ⦁ Добавляем фильтры/поиск по атрибуту в Каталоге ⦁ При необходимости включаем в индексы, которые приняты в компании (например, оценка зрелости) 6. Вывод из использования: ⦁ Если метрики по атрибуту показывают отрицательную динамику 6 месяцев — оповещаем владельца и планируем удаление
Примеры возможных кастомных атрибутов: ⦁ категория персональных данных ⦁ согласие на обработку персональных данных ⦁ lakezone-raw, lakezone-staging, lakezone-curated, lakezone-sandbox, lakezone-archive — зона в озере данных (для S3/ICEBERG) ⦁ bronze, silver, gold — качество/зрелость данных (raw/validated/golden dataset - или AI ready data)
💵 А можно ли такие атрибуты монетизировать? Например, если карточка объекта полностью заполнена обязательными атрибутами и указан тариф, то покупка дата‑продукта происходит прямо в Каталоге из карточки 🛒