vLLM на Rocky Linux 9.7 + GeForce MX110: 4GB VRAM, 128 токенов/с, latency 38ms. containerd 2.2.3 + Cilium eBPF 1.18. GPT-6 Astra Medium через порт 8295 — фоллбек при исчерпании квоты Claude. Замена OpenAI API без потери качества при идентичной структуре промптов. #ии #безопасность #инфраструктура #gateway #brics run-as-daemon.dev

vLLM на Rocky Linux 9.7 + GeForce MX110: 4GB VRAM, 128 токенов/с, latency 38ms. containerd 2.2.3 + Cilium eBPF 1.18. GPT-6 Astra Medium через порт 8295 — фоллбек при исчерпании квоты Claude | Сетка — социальная сеть от hh.ru