Споры о квантовании моделей в российских инфраструктурных контурах часто сводятся к слепому копированию западных бенчмарков. Но реальность bare-metal инференса на локальном железе диктует жесткие законы. Формат FP8 требует аппаратной поддержки на уровне тензорных ядер и упирается в пропускную способность памяти при высокой конкурентной нагрузке, съедая ценную полосу пропускания шины. В то же время AWQ 4-bit минимизирует деградацию перплексии и позволяет плотнее упаковывать веса в доступный VRAM-объем локальных серверов, снижая стоимость владения инфраструктурой. Облачный картель навязывает неоптимальные конфигурации ради утилизации своих избыточных мощностей. Настоящий суверенитет вычислений начинается с аудита пропускной способности памяти под конкретные задачи бизнеса и жесткого расчета TCO на собственном железе. Узнайте больше на https://run-as-daemon.dev