vLLM, llama.cpp или Ollama: замер на одной Tesla T4
Замерил на бесплатной Tesla T4: взял одну модель (Qwen3-1.7B), одинаковые запросы на русском, ответы по 256 токенов, и прогнал три бэкенда при 1, 8 и 32 параллельных запросах.
Что получилось:
- Один пользователь: быстрее всех llama.cpp в Q4_K_M - 122 токена/с на запрос против 63 у vLLM в fp16. Генерация одного потока упирается в память, а Q4 читает в 3 раза меньше байт на токен. - 32 запроса одновременно: выигрывает vLLM - 839 токенов/с суммарно и первый токен через 0,14 с. У llama.cpp 634 токена/с и 1,1 с до первого токена, у Ollama 412 и 4,5 с. - Ollama удобна для разработки (одна команда), но под нагрузкой заметно отстаёт от llama.cpp, на котором построена. - Q8 и Q4 в llama.cpp под нагрузкой почти не отличаются: узкое место уже не веса, а вычисления.
Вывод для практики: локальный ассистент на одного - llama.cpp с квантованием, сервис на много пользователей - vLLM.
Оговорки честные: один прогон на точку, T4 без FlashAttention, качество ответов не сравнивал - только скорость.
Код и сырые цифры: https://github.com/MrAlexGov/llm-inference-bench
