Локальный сервер у себя дома (8x DGX по 128 ГБ unified memory). Пост в твиттере

Человек смог развернуть GLM 5.3. Не Flash-версию а квантизированную до 3.25 bit. По метрикам она на уровне DeepSeek Flash 4.1 которому требовалось всего 4 карты. Но там есть проблемы с передачей данных между картами. Скорость составляет 55 tok/s на генерации и prefill ~1800 (должно быть существенно быстрее подписок).

Основная ценность возможно в том что можно использовать abliterated-модели для security audit без отказов. А это в последнее время становится все актуальнее. У условных Claude и Codex все больше ограничений на то где их можно использовать.

По цене (вроде еще по старым ценам) 8 DGX обходятся в 6 тысяч долларов или 4 млн рублей без учета стойки блока питания и охлаждения. Плюс потребление электричества при большой нагрузке выходит на 900 кВт·ч или 8 тысяч рублей в месяц (~100-долларовая подписка). Еще нужна отдельная комната ибо шумно (это думаю бесценно).

Дорого но дешевле парковки в Москве, думайте