Выбирать AWQ 4-bit по размеру модели — закупать сервер по фотографии корпуса. Для модели на 32 млрд параметров арифметический объём весов: 16 ГБ при 4 битах против 32 ГБ при 8 битах. Это десятичные ГБ без метаданных квантования, тензоров другой точности, KV-кеша и рабочих буферов. Обещание «влезет в 24 ГБ» требует проверки полного профиля памяти. AWQ обычно хранит квантованные веса в INT4, сохраняя вычисления с активациями более высокой точности. FP8 может квантовать и веса, и активации — конкретная схема и поддержка GPU решают всё. На bare-metal с vLLM фиксируйте версию, ядра, длины входа и выхода, конкурентность. Измеряйте p95 TTFT, задержку между токенами и пропускную способность при заданном SLA. Меньше битов не означает автоматически быстрее. Для российского документооборота приёмочный набор — договоры, счета, OCR и обращения на русском. Проверяйте точность сумм, реквизитов, отрицаний и JSON относительно исходной модели. Калибровочные данные AWQ должны представлять вашу нагрузку. ...