vLLM, llama.cpp или Ollama: замер на одной Tesla T4
Замерил на бесплатной Tesla T4: взял одну модель (Qwen3-1.7B), одинаковые запросы на русском, ответы по 256 токенов, и прогнал три бэкенда при 1, 8 и 32 параллельных запросах.
Что получилось:
- Один
читать далее