Закупать GPU до сравнения AWQ и FP8 — инженерная халатность. Для модели 32B арифметика хранения весов: 16 ГБ при 4 битах против 32 ГБ при 8 битах. Это теоретический объём весов, не потребление VRAM сервером. Масштабы квантования, неквантованные слои, KV-кэш и рабочие буферы требуют дополнительной памяти. Обещание «32B влезет в 16 ГБ» эту арифметику не выдерживает. AWQ 4-bit сжимает веса; активации обычно остаются в FP16/BF16. У FP8 нужно уточнять рецепт: какие веса и активации квантованы, какие GPU и ядра исполняют операции. Четыре бита не гарантируют победу по скорости. На bare-metal с vLLM сравниваем одну исходную модель, одинаковые контексты и конкурентность: p95 TTFT, задержку между токенами, завершённые запросы в секунду и запас VRAM. Формат KV-кэша фиксируем отдельно. Российская прикладная нагрузка — это ещё и кириллица после OCR, артикулы, суммы в рублях, реквизиты и JSON для внутренних систем. Проверяем точность полей и долю ответов без повторного запроса на своём контрольном н...