Покупать GPU и кормить его весами через внешний канал — архитектурный налог на каждый холодный запуск. В Sovereign AI Gateway рабочая копия весов должна жить на локальном NVMe-массиве узла инференса. Репозиторий поставляет проверенный релиз заранее; запуск vLLM читает локальный путь. Доступность внешнего сервиса не должна определять доступность вашей модели. Граница обещаний жёсткая: локальный путь не означает автоматическую передачу NVMe → GPU в обход CPU. Это отдельный тракт, требующий поддержки оборудования и загрузчика. Измеряем холодное чтение без прогретого page cache, фактическую полосу массива, p95 времени до готовности и время заполнения VRAM. После загрузки весов в VRAM быстрый диск сам по себе не прибавляет токенов в секунду. Условный расчёт: 140 ГБ весов при устойчивых 7 ГБ/с — 20 секунд только на чтение; при 1 ГБ/с — 140 секунд. Это нижние оценки, не время запуска целиком. Если замеры подтвердят разницу в две минуты до готовности, то 30 запусков на восьми GPU дадут восемь ...

Покупать GPU и кормить его весами через внешний канал — архитектурный налог на каждый холодный запуск. В Sovereign AI Gateway рабочая копия весов должна жить на локальном NVMe-массиве узла инференса | Сетка — социальная сеть от hh.ru