AWQ 4-bit и FP8 решают разные задачи. AWQ сжимает веса примерно до 4 бит, оставляя вычисления и активации в FP16/BF16; это снижает footprint модели и позволяет плотнее разместить несколько реплик. Цена — чувствительность к calibration-набору, групповой схеме и kernel-реализации. Ошибка особенно заметна на длинном контексте и редких доменных терминах. FP8 требует аппаратной и программной поддержки: без подходящих Tensor Core и стабильного kernel stack преимущество на бумаге исчезает. На совместимом ускорителе FP8 обычно дает более высокий throughput и меньшую деградацию качества, но веса занимают примерно вдвое больше памяти, чем AWQ 4-bit. KV-cache при этом не исчезает: на длинных российских нормативных и технических документах именно он часто становится главным потребителем VRAM. Практическая граница простая: если узкое место — VRAM и число реплик, начинайте с AWQ 4-bit; если узкое место — latency и throughput на поддерживаемом железе, тестируйте FP8. Сравнивайте не «токены в секунду» из README, а p95 latency, tokens per watt, долю ошибок на своем calibration-наборе и стоимость токена при реальном concurrency. Условный выигрыш 20% throughput не оправдывает 2-кратное увеличение числа GPU. На bare-metal вы фиксируете версию драйвера, runtime, kernel и модель, затем считаете себестоимость инференса без аренды и egress-картеля. В облаке за красивый benchmark платят еще за простаивающую GPU, трафик и миграцию данных. Суверенная метрика — не битность сама по себе, а минимальная стоимость корректного токена в вашем контуре: https://run-as-daemon.dev/? utm_source=telegram&utm_medium=smm&utm_campaign=rad_ru&utm_content=sravnenie-kvantovaniya-awq-4-bit-i-f.
