Решил поделиться тем, как завожу LLM на производство и собираю локальный инференс. У меня промышленная история. Задача от предприятия — автоматизировать работу с документацией. Условие — закрытый контур (Air-Gapped) без доступа в сеть. Над чем я сейчас работаю: Перевод чертежей и документации на разных языках для иностранных партнёров. Задача — выцепить русский текст, замазать его и положить сверху английский, в те же места и в тот же размер. Пишу как есть: с векторными PDF результат нормальный. А вот со сканированными PDF всё плохо — геометрия и структура ломаются. Плашки с ошибками высвечиваются везде, чтобы оператор мог править текст руками и сохранять итоговый документ. Конечный итог в любом случае выпускает оператор. Платформа создана для помощи людям, заменять их я не собирался. Кривой английский в штампе отсекается. Есть глоссарий: он подставляет утверждённый термин. Обозначение и ГОСТ устанавливаются правилом, не моделью. Что в планах: Сверка технических паспортов у нас уже реализована, её нужно дорабатывать, в том числе визуальной моделью. Для паспортов связка PaddleOCR + текстовая LLM на печатях и штампах выдаёт ошибки. Юридический модуль пока скелет: написан, нужны тесты и доработка. Особенности деплоя: Всё изолировано и запаковано в Docker с локальными кэшами. Железо на сервере выделено не только под меня, там крутятся и другие сервисы. Если поднять vLLM как есть, он выжрет всю видеопамять (OOM). Решил это квотированием VRAM на уровне инференса через gpu-memory-utilization. А чтобы не забивать диски дублями весов, вынес хранилище моделей в общую read-only директорию. Для контроля собрал дашборд с метриками: там видна работа всей платформы по модулям, и тем, что уже крутятся, и тем, которые ещё будут. Админ мониторит память, а операторы ставят лайки/дизлайки к отработанным документам для отлова багов. Разворачивать LLM на железе в офлайне сложная инфраструктурная задача. Но ядро уже работает. Интересно узнать: кто-нибудь еще собирал похожий Air-Gapped пайплайн на производстве? С какими нюансами сталкивались при деплое?
