Попробовал на днях утилиту llmfit, которая значительно облегчила мне подбор подходящих языковых моделей для домашнего сервера/арм. Раньше я использовал llm-explorer.com для поиска подходящих моделей, но часто сталкивался с трудностями при выборе оптимального баланса между качеством и требуемыми ресурсами.

Теперь достаточно установить llmfit на целевую систему и запустить - утилита сама покажет, какие модели совместимы с вашими характеристиками.

Ключевые возможности: 🟣 Автоопределение характерристик 🟣 Удобный TUI-интерфейс для фильтрации и просмотра моделей 🟣 Подробная информация о каждой модели 🟣 Поддержка работы через API 🟣Интеграция слокальными провайдерами Ollama, llama.cpp, MLX (Apple Silicon) 🟣 Возможность скачивания моделей с HuggingFace 🟣 Подсказки по требуемому железу для конкретной модели 🟣 Вывод резултата в JSON 🟣 Настройки позволяющие задать VRAM, размер контекста и т.д.

Важные нюансы: 🟣 База данных моделей обновляется при сборке утилиты 🟣 Для работы с llama.cpp требуется ее локальная установка или настройка алиасов с монтированием директории при условии использования Docker-контейнера

В качестве практики установил: 🟣 nomic-embed-text-v1.5 через Ollama для индексации кода в Qdrant с использованием sourcecraft assystant 🟣 DeepSeek-Coder-V2-Lite-Instruct через llama.cpp для локального использования и изучения

Ссылки: llmfit: https://github.com/AlexsJones/llmfit LLM Explorer: https://llm-explorer.com/