AWQ 4-bit и FP8 выбирают под очередь запросов, а не под красивую таблицу разрядностей. Для российских корпоративных нагрузок стенд — это поиск по регламентам, извлечение реквизитов и обращения на русском. Сравнивать нужно одну исходную модель на одинаковых запросах: точность полей, TTFT p95, задержку между токенами и число одновременно обслуживаемых пользователей. AWQ обычно означает W4A16: четырёхбитные веса при 16-битных активациях. FP8 W8A8 использует восемь бит для весов и активаций, но доступность и выигрыш зависят от GPU и ядер инференса. У модели на 32 млрд параметров теоретический объём самих весов — 16 ГБ против 32 ГБ соответственно. Это без шкал, служебных данных, KV-кэша и рабочих буферов. Квантование весов автоматически не уменьшает KV-кэш. AWQ может помочь вместить модель; победителя по скорости определяют замеры в vLLM на вашем железе. Считать надо рубли за миллион полезных выходных токенов при заданном профиле входа, качестве и SLO. Условный бюджет узла — 120 000 ₽ в мес...