AWQ 4-bit и FP8 решают разные задачи. AWQ сжимает веса примерно до 4 бит, оставляя вычисления и активации в FP16/BF16; это снижает footprint модели и позволяет плотнее разместить несколько реплик. Цена — чувствительность к calibration-набору, групповой схеме и kernel-реализации. Ошибка особенно заметна на длинном контексте и редких доменных терминах. FP8 требует аппаратной и программной поддержки: без подходящих Tensor Core и стабильного kernel stack преимущество на бумаге исчезает. На совместимом ускорителе FP8 обычно дает более высокий throughput и меньшую деградацию качества, но веса занимают примерно вдвое больше памяти, чем AWQ 4-bit. KV-cache при этом не исчезает: на длинных российских нормативных и технических документах именно он часто становится главным потребителем VRAM. Практическая граница простая: если узкое место — VRAM и число реплик, начинайте с AWQ 4-bit; если узкое место — latency и throughput на поддерживаемом железе, тестируйте FP8. Сравнивайте не «токены в секунду»...