Внешняя память для LLM: как RAG дает моделям доступ к новым знаниям

Интеграция языковых моделей в бизнес-процессы редко проходит гладко. На базовых тестах с общей информацией LLM кажется надежным экспертом, которого можно прямо сейчас выпускать в продакшен. Но стоит задать ей вопрос о свежей новости или документации компании, как она, недолго думая, сгенерирует ложный ответ. Переобучение при каждом обновлении базы — слишком дорогая и архитектурно нецелесообразная затея, а довериться имеющимся способностям LLM было бы слишком рисковано.

Закономерным ответом на эту проблему стал RAG (Retrieval-Augmented Generation) — подход, который дает LLM поисковик по актуальной внешней базе и «заставляет» опираться только на выданный контекст. В этой статье разберем по шагам, как устроен этот механизм, почему он снижает число галлюцинаций и где RAG всё же дает слабину.