Как дать локальной LLM доступ в интернет и свежие знания

Локальная модель ничего не знает после даты обучения. Дать ей свежие данные можно тремя способами, и на практике они складываются, а не заменяют друг друга.

Первое, RAG по своим документам. Модель отвечает не из головы, а из вашей базы. Нюанс, на котором я обжигался: чистого векторного поиска мало. Редкие названия, коды и точные термины уезжают в канаву, если рядом нет обычного полнотекстового слоя. Держите оба и смешивайте результаты.

Второе, веб-поиск как инструмент. Даёте модели функцию поиска через function calling или MCP, и она сама решает, когда сходить в интернет. На выходе ранжированные ссылки и сниппеты. Это закрывает свежесть, которую статичная база не даёт.

Третье, живой fetch. Сниппет часто обрезает суть или врёт. Полезнее вытянуть саму страницу, обрезать по токенам и отдать модели как доказательство под конкретный запрос. Самое неприятное тут не запрос, а страницы за ботными стенами.

Общий шов поверх всего: проверяйте, что ответ реально опирается на источник. Иначе вы не дали модели знания, а просто ускорили генерацию красивых галлюцинаций. Сверка вывода с фрагментом это половина работы, а не украшение.

А вы чем закрываете свежесть: RAG, веб-поиском или живым fetch?