Адепты облачного инференса любят рассуждать о технологическом превосходстве FP8, скромно умалчивая, что для его реализации требуются ускорители актуальных поколений с ценником чугунного моста. В реалиях суверенного контура, где каждая стойка на учете под 152-ФЗ, выбор между AWQ 4-bit и FP8 сводится к жесткой экономике полосы пропускания памяти GPU. AWQ 4-bit позволяет упаковать модель под стандартные bare-metal мощности без деградации перфоманса на критических бизнес-процессах. FP8 дает призрачный прирост скорости там, где облачные провайдеры продают избыточные ресурсы втридорога. Переплата за нативные FP8-инструкции в чужом облаке — это налог на доверчивость, который вы платите за право обрабатывать собственные персональные данные. Стройте локальные кластеры на проверенном железе, управляйте кривой предельной стоимости токена самостоятельно и держите контур в изоляции от внешних шлюзов. Узнайте больше об архитектуре суверенных шлюзов на https://run-as-daemon.dev