Раньше LLM требовали облака или дорогих серверов. Теперь компактный кластер можно поставить в офисе. Два NVIDIA DGX Spark (или аналоги на GB10) и кабель 200G — около 1 млн ₽. Этого достаточно для локального запуска DeepSeek‑V4‑Flash или модели 70–200B и работы 2–5 сотрудников без внешних сервисов. Что такое DGX Spark? Это небольшой ИИ‑компьютер размером с книгу. Внутри — CPU и ускоритель NVIDIA, 128 ГБ единой памяти. В обычных ПК память разделена. Для LLM это узкое место: модель приходится дробить и перекладывать. В DGX Spark 128 ГБ — общий пул. На одном сервере комфортно работают модели 70–120B в сжатом виде. Этого хватает для внутреннего ассистента, помощи разработчикам, аналитики и поддержки. Кластер до 8 серверов Порты 200 Гбит/с позволяют соединять Spark напрямую или через коммутатор. До 4 серверов — без сложного оборудования. До 8 — с 200G‑коммутатором, в итоге можно получить 1 ТБ общей памяти. Это даёт масштабирование под очень большие модели. Сценарий за ~1 млн ₽ Один GB10/128 ГБ в РФ — около 500-700 тыс. ₽. Два сервера + 200G‑кабель — 1–1,5 млн. Что получает бизнес: — локальная DeepSeek‑V4‑Flash или аналог 70–200B; — данные и логи не уходят наружу; — производительность для небольшой команды; — площадка для пилотов и внутренних инструментов. Фактически это мини‑дата‑центр для ИИ на столе или в шкафу.

Локальный ИИ перестал быть проектом для крупных дата‑центров. Два компактных сервера и кабель дают контролируемую, безопасную и доступную платформу для внедрения LLM внутри компании.

#внедрениеИИ #локальныйИИ #ИИвбизнесе #LLM #MLOps #DGXSpark #NVIDIAGB10 #корпоративныйИИ #инфраструктураИИ