Четыре бита — не двукратная скидка на инференс. Для модели на 32 млрд параметров арифметический объём весов — 16 ГБ в INT4 против 32 ГБ в FP8, без метаданных и неквантованных слоёв. AWQ квантует веса; активации и KV-кэш требуют отдельного рассмотрения. Поэтому «32B помещается в 16 ГБ VRAM» — негодная спецификация сервера. Основа метода: статья AWQ. У FP8 W8A8 квантуются веса и активации, но выигрыш зависит от GPU и вычислительного ядра. Нативное ускорение есть, например, у H100; переносить его результаты на любой доступный сервер нельзя. Для bare-metal vLLM фиксируем GPU, версию движка и kernel: документация FP8. AWQ может позволить обойтись меньшим числом GPU; FP8 может выиграть по пропускной способности. Победителя назначает нагрузка. Российский рабочий корпус — договоры, заявки из 1С, таблицы с ИНН и суммами. Обе версии сравниваем с BF16: точность извлечения реквизитов, валидность JSON, ответы с подтверждением из RAG. При одинаковых контекстах и конкурентности снимаем p95 TTFT, время между токенами, пиковую VRAM и долю принятых ответов. Квантование, которое экономит память ценой ручной проверки документов, переносит расходы с GPU на сотрудников. Условный расчёт: полный расход узла 120 000 ₽/месяц при 600 000 принятых ответов даёт 0,20 ₽ за ответ; при 300 000 — уже 0,40 ₽. Включаем амортизацию, электричество, размещение и эксплуатацию. Облачный API сравниваем на том же корпусе, с оплатой входа, выхода и повторов. Суверенный AI Gateway должен выбирать проверенный профиль модели, а бюджет — опираться на полезный результат: https://run-as-daemon.dev/?utm_source=telegram&utm_medium=smm&utm_campaign=rad_ru&utm_content=sravnenie-kvantovaniya-awq-4-bit-i-f.
