Сейчас проводим испытания новых LLM-моделей: переходим с локальной glm 5.3 (open weights) на модель gemma4:26b-a4b. 🧠⚙️ Полный функционал сохраняется. Подробный отчет с результатами тестов будет чуть позже. Оставайтесь на связи! 🚀

P.s. результаты есть. Но однозначности нет.

Потребление и скорость во время генерации.

Общая нагрузка на сервер. CPU intel xeon e5-2630 v3 2 процессора = 60% ОЗУ DDR 4 = 24 GB GPU NVIDIA QUADRO P2000 5 Gb = 95%

Веса модели Q4 = 16 GB KV-кэш (131к, q8_0, 2 слота) = 4-5 GB Системные накладные расходы = 2 GB

Скорость генерации = 6-7 tok/s Скорость промта с кэшем = 130+ tok/s Скорость промта без кэша = 50 tok/s