Что это?

Представьте себе большой склад, где хранятся все ваши данные: от файлов Excel до кода и таблиц с информацией о клиентах. OpenMetadata – это, грубо говоря, "управляющий складом", который позволяет вам:

• Узнать, что у вас есть: OpenMetadata создает каталог всех ваших данных, так что вы всегда знаете, где что находится.
• Понять, как все связано: Он показывает, как разные данные связаны между собой, например, как информация о клиенте связана с его покупками.
• Управлять доступом: OpenMetadata помогает контролировать, кто имеет доступ к каким данным, и предотвращает несанкционированное использование.
• Улучшить качество данных: Он отслеживает изменения в данных и позволяет проверять их на ошибки и несоответствия. Проще говоря, OpenMetadata помогает вам организовать, контролировать и использовать ваши данные эффективно, чтобы получить от них максимальную пользу.

Перед внедрением была проведена серия тестов, включающая себя:

• Бекап и восстановление системы
• Ролевая модель
• Стресс тесты на многопоточность в 100 потоков с внутренним AirFlow к сторонним БД
• Удобство в обслуживании, извлечении и анализе лог файлов
• Тест коннекторов подключения к разным источникам данных (http,https+ca cert)
• Общее потребление памяти, процессора

Из минусов:

• Не смог добавить Apache Nifi 2.0.0, даже с сертификатом, скорее всего только 1.25, ну подождем.
• Не показывает sample data если колонка имеет тип RAW в Oracle
• Не показывает sample data если при создании таблицы или представления в названиях колонок были использованы кавычки
• При перестроении индексов поиска в Elastic Search результаты видишь сразу, т.е. было 10000 таблиц, а при перестроении видим в онлайне 100,200,300 таблиц и т.д. можно было по факту поменять после полной перестройки, а так ждать около 30 минут.
• Поиск в Elastic Search не работает с Ru, я думаю решится внедрением в докер плагина

Из плюсов:

• Ручное создание связей в Lineage, можно сделать путь от дашборда к таблицам и пайпланам на airflow, завернуть это всё в проект и разместить внутри OpenMetadata как продукт дата офиса.
• Чат аналитиков, реквесты запросов на обновление документации по колонке или таблице.
• Качество данных на уровне таблиц и колонок с отправкой письма или WebHook о состоянии.
• Качественная и детальная ролевая модель.
• Система обновления openmetadata_migrations, которая обновляет данные служебной БД при запуске очередного нового релиза с докера

Хватит описывать всё в вики, описывайте в openmetadata!