Делюсь впечатлениями о выступлении на Moscow AI Meetup #7

На прошлом митапе я рассказал о нашем кейсе: как мы оценивали качество RAG-модели при работе с юридическими документами. Честно говоря, для меня это было не просто «ещё одно выступление», а возможность проговорить вслух те грабли, на которые мы наступили в реальном проекте. И было очень ценно увидеть, что тема откликнулась.

О чём я рассказывал

Я начал с того, что RAG для юристов кажется почти стандартной задачей: загрузили документы, сделали эмбеддинги, подключили LLM — и готово. Но на практике всё сложнее.

Главная проблема — не столько галлюцинации в классическом смысле, сколько ошибки извлечения и привязки к актуальной норме. Модель может дать красивый ответ со ссылками, но ссылки окажутся на недействующую редакцию или на документ другого региона. Для машины это может выглядеть логично, для юриста — это критическая ошибка.

Мы говорили о том, почему актуальность юридических документов — нетривиальная задача: даты публикации, вступления в силу, утраты силы, изменения формулировок. Если всё это «зашить» в эмбеддинги, поиск становится сложнее, чем классический SQL-запрос с метаданными.

Из решений я подробно остановился на:

· фильтрации по статусу — индексируем только действующие нормы; · неоднородном чанкинге — режем документы с учётом их структуры, а не фиксированными кусками; · ссылочной модели — к каждому утверждению прикрепляем источники, чтобы пользователь мог проверить; · золотом стандарте — оцениваем качество через эталонные ответы и ссылки, проверенные юристами.

Отдельно рассказал, что ранжирование ссылок в нашем случае не дало значимого прироста качества, зато увеличило время ответа примерно в четыре раза. Поэтому мы от него отказались — иногда простое решение оказывается лучше «умного».

И, конечно, затронул юридические риски: штрафы за несуществующие ссылки, срывы сроков, переделки документов. Поэтому в нашем кейсе появилась человеческая верификация: система ускоряет первую линию проверки, но финальное слово остаётся за юристом.

Что обсуждали после

Вопросы получились очень живыми. Спрашивали, почему бы просто не использовать КонсультантПлюс или полнотекстовый поиск. Мой ответ: проблема не в том, чтобы найти документ, а в том, чтобы корректно привязать ссылку именно к действующей редакции в момент генерации ответа.

Обсуждали и исторические редакции: например, в уголовном праве иногда нужно применять норму, действовавшую на момент события. Это отдельный слой сложности, и полностью автоматически его закрывать пока рискованно.

Много говорили о юридической ответственности: гарантирует ли система точность? Нет. Поэтому мы продавали кейс как комбинацию LLM и консультации профессиональных юристов. Также был вопрос про безопасность и отравление данных — тема, которую нельзя игнорировать: обучение и дообучение требуют очистки, мониторинга и версионирования.

Ещё спрашивали про практические сценарии. Я привёл примеры: проверка договоров контрагентов на соответствие чек-листу, сверка инвойсов, первичная проверка деклараций. Даже если модель ошибается, она снимает с человека рутину первой линии, а специалист быстрее валидирует результат.

Главный вывод

Точность в таких системах — это не только метрика качества. Это митигация рисков. Технология уже работает, но ответственность за финальный документ всё равно остаётся на человеке. И об этом важно говорить — особенно на митапах, где рядом сидят и инженеры, и юристы, и продукт.

Спасибо организаторам Moscow AI Meetup #7 и всем, кто задавал вопросы. Для меня это был полезный разговор — и, кажется, для аудитории тоже.