Четыре бита — не двукратная скидка на инференс. Для модели на 32 млрд параметров арифметический объём весов — 16 ГБ в INT4 против 32 ГБ в FP8, без метаданных и неквантованных слоёв. AWQ квантует веса; активации и KV-кэш требуют отдельного рассмотрения. Поэтому «32B помещается в 16 ГБ VRAM» — негодная спецификация сервера. Основа метода: статья AWQ. У FP8 W8A8 квантуются веса и активации, но выигрыш зависит от GPU и вычислительного ядра. Нативное ускорение есть, например, у H100; переносить его результаты на любой доступный сервер нельзя. Для bare-metal vLLM фиксируем GPU, версию движка и kernel: документация FP8. AWQ может позволить обойтись меньшим числом GPU; FP8 может выиграть по пропускной способности. Победителя назначает нагрузка. Российский рабочий корпус — договоры, заявки из 1С, таблицы с ИНН и суммами. Обе версии сравниваем с BF16: точность из...