ИИ в Data Governance новые вызовы 🤖
Замечательный доклад на MWS Meetup #7 от руководителя центра DataGov MWS Екатерины Яковлевой по управлению данными о том, как ИИ трансформирует Data Governance и что с этим делать.
Вот основные тезисы:
1. ИИ формирует новые объекты управления для Governance Если раньше DataGov оперировал таблицами, полями и бизнес-терминами, то теперь добавился целый класс AI-активов: модели и их версии, эмбеддинги и векторные индексы, синтетические данные, промпты, цепочки выводов и наборы инструментов. Управление должно охватывать как данные, так и ИИ-активы в едином контуре.
2. Три цели Governance в ИИ-кейсах Во-первых, увидеть ландшафт понять, какие ИИ-кейсы и эксперименты уже ведутся. Во-вторых, снизить стоимость избежать дублирования и неэффективных подходов. В-третьих, гарантировать качество чтобы ИИ работал предсказуемо и надежно.
3. DataGov поставляет в RAG AI-ready данные Для корректной работы ИИ на вход нужно подавать не любые данные, а AI-ready дата-продукты. Это значит, что у данных описана структура, зафиксирован смысл и использование, известны происхождение и владелец, а также измерены показатели качества. Только такие данные гарантируют позитивный бизнес-результат.
4. Governance ускоряет путь до качественного RAG Правильно выстроенный Governance сокращает создание пула метрик до двух недель, экономит до месяца на разработке evaluation dataset, а главное доказуемо повышает точность RAG с 40% до 95% за счёт использования AI-ready метаданных.
5. Типовые шаги по организации Governance в ИИ-кейсах
· Первые 30 дней: инвентаризировать AI-use cases, определить AI-readiness источников, выделить владельцев и классы риска, описать используемые модели и внешние сервисы. · 30–60 дней: создать шаблон AI system card, классификацию данных, подход к оценке качества RAG, evaluation dataset, security/privacy checklist и процесс человеческого утверждения. · 61–90 дней: встроить автоматические quality gates, политики как код, логирование lineage, мониторинг качества/стоимости/риска и стандартный путь от идеи до production.
6. Ключевые выводы Оценивайте экономику AI-кейса с самых ранних этапов. Не выпускайте ИИ-систему без evaluation dataset. Не оценивайте только финальный ответ смотрите на всю цепочку. На вход в ИИ должны подаваться AI-ready дата-продукты, а не любые данные. Описывайте ИИ-кейсы по корпоративному стандарту. Не давайте агенту больше полномочий, чем требуется. И самое важное встраивайте governance-gates в пайплайны, а не оставляйте их в документации.
· 19.08
Здесь я бы добавил ещё один governance-gate между evaluation dataset и production. Набор проверок может хорошо измерять поведение системы и всё равно проверять не ту цель. Особенно если критерии, RAG и eval собирала одна команда из одной интерпретации требований.
У меня рабочая граница такая: до реализации человек фиксирует пользовательский сценарий и критерии приёмки; технические evals проверяют выполнение; UAT отдельно подтверждает, что критерии отражают нужный результат. Иначе lineage будет идеальным, а ошибка в исходной постановке пройдёт через весь контур.
Кто в описанном процессе владеет именно критериями правильности AI-кейса: DataGov, продукт или бизнес-заказчик?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён