Что это?

Представьте себе большой склад, где хранятся все ваши данные: от файлов Excel до кода и таблиц с информацией о клиентах. OpenMetadata – это, грубо говоря, "управляющий складом", который позволяет вам: * Узнать, что у вас есть: OpenMetadata создает каталог всех ваших данных, так что вы всегда знаете, где что находится. * Понять, как все связано: Он показывает, как разные данные связаны между собой, например, как информация о клиенте связана с его покупками. * Управлять доступом: OpenMetadata помогает контролировать, кто имеет доступ к каким данным, и предотвращает несанкционированное использование. * Улучшить качество данных: Он отслеживает изменения в данных и позволяет проверять их на ошибки и несоответствия. Проще говоря, OpenMetadata помогает вам организовать, контролировать и использовать ваши данные эффективно, чтобы получить от них максимальную пользу.

Перед внедрением была проведена серия тестов, включающая себя: - Бекап и восстановление системы - Ролевая модель - Стресс тесты на многопоточность в 100 потоков с внутренним AirFlow к сторонним БД - Удобство в обслуживании, извлечении и анализе лог файлов - Тест коннекторов подключения к разным источникам данных (http,https+ca cert) - Общее потребление памяти, процессора

Из минусов: - Не смог добавить Apache Nifi 2.0.0, даже с сертификатом, скорее всего только 1.25, ну подождем. - Не показывает sample data если колонка имеет тип RAW в Oracle - Не показывает sample data если при создании таблицы или представления в названиях колонок были использованы кавычки - При перестроении индексов поиска в Elastic Search результаты видишь сразу, т.е. было 10000 таблиц, а при перестроении видим в онлайне 100,200,300 таблиц и т.д. можно было по факту поменять после полной перестройки, а так ждать около 30 минут. - Поиск в Elastic Search не работает с Ru, я думаю решится внедрением в докер плагина

Из плюсов: + Ручное создание связей в Lineage, можно сделать путь от дашборда к таблицам и пайпланам на airflow, завернуть это всё в проект и разместить внутри OpenMetadata как продукт дата офиса. + Чат аналитиков, реквесты запросов на обновление документации по колонке или таблице. + Качество данных на уровне таблиц и колонок с отправкой письма или WebHook о состоянии. + Качественная и детальная ролевая модель. + Система обновления openmetadata_migrations, которая обновляет данные служебной БД при запуске очередного нового релиза с докера

Хватит описывать всё в вики, описывайте в openmetadata!