Закупать GPU до сравнения AWQ и FP8 — инженерная халатность. Для модели 32B арифметика хранения весов: 16 ГБ при 4 битах против 32 ГБ при 8 битах. Это теоретический объём весов, не потребление VRAM сервером. Масштабы квантования, неквантованные слои, KV-кэш и рабочие буферы требуют дополнительной памяти. Обещание «32B влезет в 16 ГБ» эту арифметику не выдерживает. AWQ 4-bit сжимает веса; активации обычно остаются в FP16/BF16. У FP8 нужно уточнять рецепт: какие веса и активации квантованы, какие GPU и ядра исполняют операции. Четыре бита не гарантируют победу по скорости. На bare-metal с vLLM сравниваем одну исходную модель, одинаковые контексты и конкурентность: p95 TTFT, задержку между токенами, завершённые запросы в секунду и запас VRAM. Формат KV-кэша фиксируем отдельно. Российская прикладная нагрузка — это ещё и кириллица после OCR, артикулы, суммы в рублях, реквизиты и JSON для внутренних систем. Проверяем точность полей и долю ответов без повторного запроса на своём контрольном наборе. Иллюстрация экономики: полные расходы узла 120 000 ₽ в месяц при 600 млн принятых выходных токенов дают 200 ₽ за миллион; при 300 млн — 400 ₽. В расходы входят амортизация, электричество, размещение и эксплуатация. С облаком сравниваем тот же набор запросов, включая оплату входа и повторов. Правило закупки: AWQ выбираем, если экономия памяти сохраняет качество и SLO; FP8 — если поддерживаемое железо даёт лучшую стоимость принятого результата. Суверенный шлюз должен направлять нагрузку по измерениям, а не по логотипу поставщика. Контроль вычислений начинается с воспроизводимого сравнения: https://run-as-daemon.dev/?utm_source=telegram&utm_medium=smm&utm_campaign=rad_ru&utm_content=sravnenie-kvantovaniya-awq-4-bit-i-f.
