Наткнулся на AnythingLLM – это приложение, которое можно поставить прямо на свой компьютер и собрать себе локального ИИ-помощника без сложной возни с сервером.

У сервиса есть десктопная версия для Windows, macOS и Linux, а сама команда прямо пишет, что приложение задумано как local by default – модели, документы и чаты могут храниться локально на вашем устройстве. 🤗 ✋ ➕ ✖ 🤜 🫕 🐋 💰 ⚫ Что в этом особенно ценно для работы. Можно подключать локальные модели, запускать RAG по своим документам, работать с агентами и не зависеть от постоянных походов в облако.

AnythingLLM поддерживает локальные провайдеры вроде Ollama и LM Studio, а в десктопной версии можно даже импортировать свои GGUF-модели.

То есть сценарий очень практичный – поднимаете локальную модель, загружаете свою базу знаний, встраиваете документы в RAG и получаете агента, который отвечает уже на вашем контексте, а не скачет между случайными ответами. По документации, для локальной векторной базы у AnythingLLM есть встроенный LanceDB, а сами документы и эмбеддинги могут оставаться внутри приложения. ([AnythingLLM][3])

Мне особенно нравится, что это удобно для двух задач сразу – настройки агентов и работы с кодом. Когда нужны свои промпты, своя база данных, предсказуемое поведение агента и нормальная рабочая среда на собственном компьютере, это выглядит очень сильным вариантом. Плюс у них есть вариант Desktop с установкой в один клик и Docker-версия, если нужен доступ через браузер или командная работа.

Официальная страница приложения и скачивания – AnythingLLM Desktop. Документация