🤖 Как можно применить AI в каталоге данных? Сегодня подумаем, как AI может помочь в управлении метаданными. Обозначим несколько областей, в которых модели могли бы быть эффективнее, чем фиксированные алгоритмы.

📌 Поиск данных Одно из самых очевидных направлений - улучшение результатов поисковой выдачи. Про улучшение релевантности также говорили вот тут. За счет того, что каталог агрегирует в себе знания как о схеме данных, так и о смысле этих данных, с использованием AI можно писать запросы на человекопонятном языке, а в результате, помимо конкретной витрины, получать еще и sql-запрос, которым можно достать нужные данные. А если у каталога есть доступ к данным (помимо доступа к мете источника), можно получать ответы на вопросы типа "Посчитай продажи категории "Услуги" за декабрь 2024 года". 🤯 Без необходимости пользователю искать таблицы, разбираться со структурой, получать доступ, писать запрос. Это еще более сократит порог входа в работу с данными.

📌 Профилирование и выявление паттернов в данных AI может анализировать данные, чтобы выявлять аномалии, тренды или скрытые закономерности. Здесь не обойтись без доступа к данным, но результаты могут быть значительно более полезными, чем метрики профилирования, полученные стандартными способами.

Также, как часть профилирования можно рассмотреть определение семантических паттернов в данных. Например: проанализировав значения в определенной колонке, понять, что колонка содержит в себе адреса в определенном формате.

📌 Описание данных на основе сэмплов Автоматическая генерация описаний для таблиц и их колонок на основе анализа сэмплов данных и с учетом уже существующего описания "соседних" объектов. В этой области можно значительно сократить временные затраты коллег, занимающихся описанием данных. Но, в этой задаче не обойтись без доступа к данным и, скорее всего, в части случаев понадобится последующая валидация результатов работы модели (либо соответствующая маркировка "автоматически сгенерированного" контента в каталоге).

📌 Работа с глоссарием В этой области можно рассмотреть сразу несколько вариантов: — Создание терминов на основе структуры данных: AI может предлагать термины глоссария, которые нужно создать, по результатам анализа структуры таблиц, их описаний и сэмплов.

— Предложения по описанию терминов: AI может автоматически генерировать описания для бизнес-терминов

— Предложения по связи терминов и объектов физической модели данных: AI может связывать термины с конкретными таблицами или полями.

— Выявление дублирования терминов по смыслу: AI может находить синонимы и/или дублирующиеся термины с целью их объединения (или удаления лишних)

📌 Выявление дублированных данных Используя знания о структуре данных и их описании, AI может анализировать данные, чтобы находить дубликаты или почти идентичные наборы данных. И впоследствии давать рекомендации по оптимизации хранилищ организации. Пример: AI может обнаружить, что две таблицы содержат одинаковые данные, но хранятся в разных источниках. 📌 Управление жизненным циклом данных Рекомендации по архивированию неиспользуемых данных: AI может анализировать, какие данные долгое время не использовались, и предлагать их архивировать или удалить. Пример: Если таблица не запрашивалась более года, AI может предложить переместить ее в архив. Но, данный пример осложняется тем, что в нем необходимо располагать информацией об истории запросов к данным, а соответственно такую историю нужно извлекать из метаданных источника, либо из логов, что может быть не всегда просто.

🤔 Если есть еще идеи по сценариям использования AI - ждем в комментариях. #DataManagement #AI #DataCatalog #DataGovernance