▎Автоматизация дата-контрактов: новые горизонты
Привет, друзья!
Сегодня мы погрузимся в интересную и актуальную тему — автоматизацию дата-контрактов. Для нас это тоже новинка, и мы с коллегами из нашей дата-платформы активно работаем над тем, как сделать этот процесс более эффективным и связанным с другими важными инструментами, такими как Каталог данных и системы мониторинга качества данных.
В качестве основы для нашего сервиса мы выбрали стандарт DataContract.com и адаптировали его под наши специфические нужды, добавив необходимые поля, о которых рассказали в постах выше. Хочу подчеркнуть, что данная схема разрабатывалась с учетом наших задач и возможностей, поэтому у вас могут быть совершенно другие атрибуты и их количество.
Спецификация контракта на передачу данных от DataContract.com использует формат YAML для описания атрибутов предоставляемых наборов данных. Этот формат универсален и не зависит от конкретной технологии платформы данных — его можно применять с любой платформой. Он также соответствует соглашениям OpenAPI и AsyncAPI, что делает его еще более гибким и совместимым.
Наш сервис через API извлекает схемы метаданных из Каталога данных. Это означает, что вы можете выбирать объекты для создания контрактов и, при наличии, DQ-контроли. Система будет следить за изменениями в схемах метаданных, и с ее помощью можно уведомлять пользователей о планируемых изменениях.
Перспективы такого сервиса впечатляют: он может стать основой для генерации кода, тестирования, проверки схем, мониторинга качества данных, отслеживания изменений и инцидентов, а также контроля доступа и соблюдения стандартов управления данными. 💯
