RAG — схема, при которой модель перед ответом получает фрагменты из базы знаний. Модель не дообучается: найденный текст подставляется в запрос.

Что это значит на практике: система берёт вопрос пользователя, добавляет к нему найденные куски документов и отправляет модели одним запросом. Модель видит и вопрос, и эти куски — и отвечает на их основе. Сама модель при этом не меняется.

Пример. Было: «Как оформить возврат?» Стало: «Как оформить возврат? Вот фрагменты из базы: [кусок 1], [кусок 2], [кусок 3]. Ответь по ним».

Порядок работы: вопрос → поиск релевантных фрагментов → передача модели вместе с вопросом → ответ по найденному.

Применение: — ответы по актуальным регламентам и инструкциям; — обновление базы без переобучения модели; — ссылка на источник; — снижение числа выдумок.

При тестировании проверяется не только ответ, но и поиск.

Сценарии: — нужный документ не найден; — найдена устаревшая версия; — найденный фрагмент проигнорирован моделью; — в базе есть противоречащие документы; — ответа нет, но модель его формирует; — выдан документ без прав доступа.