⚡️ Полную 125B-модель Qwen запустили на RTX 4090 с всего 6 ГБ VRAM.

Обычно такой checkpoint весит 360 ГБ и требует серверов. Но инженеры сделали это на домашней 4090 без квантизации — пик 5,95 ГБ. Модель полная, с vision и 262K контекстом.

VRAM больше не главная проблема для игровых моделей. Но я скажу свое мнение - мы наигрались в локальные модели, хватит... Карты продали.

tg / max

В этом посте были ссылки, но мы их удалили по правилам Сетки