Чувак собрал дома сервер за $40k, который крутит модель почти уровня Claude Opus. И выложил весь гайд — от закупок на eBay до настроек BIOS с бифуркацией PCIe.

Внутри — два готовых сценария. За $2k берёшь пару RTX 3090, запускаешь Qwen3.6-27B и локальный Whisper для голоса. За $40k — 4x RTX 6000, 384GB VRAM и GLM-5.2 на 594B параметров через vLLM. Все docker-compose уже готовы, копипасть и запускай...

Честный минус: чтобы всё это заработало на максимальной скорости, придётся глубоко копать. PCIe-свитчи от c-payne, ручная настройка ASPM, отключение IOMMU, деревянный корпус собственного изготовления.

Готовы вложить 40k$? :)

https://github.com/jamesob/local-llm

tg / max

В этом посте были ссылки, но мы их удалили по правилам Сетки