AutoDesc: как мы автоматизируем описание таблиц с помощью AI
Таблицу можно найти в каталоге, открыть схему — и все равно не понять, что внутри. Особенно когда перед глазами data, attr, score или status, а логика их расчета осталась в SQL автора витрины.
Для таких случаев мы сделали сделали AutoDesc — внутренний AI-инструмент, который формирует описания таблиц и колонок для корпоративного каталога данных. На вход он получает название существующей таблицы и фрагмент SQL с основной логикой расчета.
Генерация проходит в два этапа, где на первом мы добавляем контекст по DDL, Lineage, метаданным таблицы и ее сэмплу. Затем на основе предварительного описания происходит отправка в RAG-источники: наиболее схожие по смыслу таблицы модели данных, рекомендации из внутреннего naming-convention и самые близкие по смыслу таблицы домена, соответствующие тому слою, в котором находится описываемый объект. На основе собранного контекста генерируется финальное описание.
Описание можно подготовить еще на этапе прототипирования, а затем перенести в каталог для целевой витрины. При изменении схемы AutoDesc добавит новые колонки в существующую документацию. Потенциально конфиденциальные поля перед публикацией проверяет модель DataSec. Для классификации чувствительных данных она использует конкатенацию описаний таблицы и столбца.
Сейчас AutoDesc генерирует более 700 описаний в месяц — свыше половины всех описаний, создаваемых в компании. Инструментом пользуются около 250 человек — это 46% всех, кто создает описания. CSAT уже более полугода держится на уровне 4,8
