Короче у нас был ИИИИИнтенсив, на котором Дима собирал какую-то сложную штуку вместе с ИИ. А по факту на фоне он там вообще всё время собирал свою AI-станция без облака: для кода, длинных документов и экспериментов с LLM.
ИИшка очень помогла все собрать и подобрать, придумать скин, собирать под печать.
Внутри
Железо. 4× Tesla V100 SXM2 по 16 ГБ, соединены через NVLink: в сумме 64 ГБ видеопамяти. К хосту карты подключены через плату с PCIe-коммутатором PLX. Хост скромный: i5-10400 и 32 ГБ DDR4. Вся нагрузка ложится на GPU, поэтому дорогой процессор тут ни к чему.
Корпус. Собрал сам. Рама из алюминиевого профиля 2020, крепления и панели напечатаны на 3D-принтере. Компоновка открытая, до любого кабеля добираюсь без разборки. Охлаждение жидкостное: один контур, два радиатора по 360 мм и шесть вентиляторов.
Питание. Два блока: 1650 Вт под карты и 650 Вт под ПК. По моим замерам вся станция с загруженной моделью ест около 300 Вт в простое и до 1000 Вт под полной нагрузкой. На каждой V100 стоит лимит 200 Вт.
Модель. Ubuntu Server и 1Cat-vLLM с оптимизациями под V100. На четырёх картах крутится Qwen3.8-27B QUASAR NVFP4, генерацию ускоряет DFlash2: черновая модель предлагает токены, основная их проверяет. Выходит 190–370 токенов в секунду, точная цифра зависит от контекста и от того, насколько часто черновик угадывает. Контекст гоняю до 262K.
Prefill меряю отдельно. Быстро печатать ответ мало, если перед первым токеном долго ждёшь, пока модель переварит длинный документ.
Я попросил Диму собрать опенсорс, потому что это очень круто!
