Как локально и бесплатно запустить ИИ чатбота со своей базой знаний?

Для тех, кто не смотрит мои шортсы, и чуть подробнее 😇

Для этого есть GPT4all: устанавливаете, выбираете любую модель, выбираете папку с документами, и можете получать оттуда любые интересующие вас ответы.

Есть несколько альтернатив:

• ChatRTX – так же с подключением к документам, но только для Windows с видеокартой от NVIDIA
• LM Studio – без подключения к документам
• Ollama – без подключения к документам

Я рекомендую использовать модель Qwen2, если нужен русский язык, или Gemma2, если вам достаточно английского. Если же нужен бесплатный ИИ-кодер, можно использовать Deepseek-Coder-v2.

Конечно, локальная модель будет намного хуже топовой и платной. Но! Те последние модели, которые я назвал – уже очень хороши, как минимум для классических задач саммаризации и поиска информации в больших документах.

Модельки обычно поставляются в 2 и более вариантах. Для запуска модели размером от 7 до 9B требуется минимум 8GB RAM, но лучше 16. Большую модель на 70B вы на домашнем компе вряд ли запустите, но если комп слабенький, у той же Qwen2 есть вариации 0.5B и 1.5B.