colibri - инструмент, позволяющий запускать модель GLM-5.2 с 744 миллиардами параметров на потребительском компьютере с 25 ГБ оперативной памяти. Программа написана на чистом языке C и не требует дополнительных зависимостей.

Она использует технологию Mixture of Experts (MoE), где эксперты загружаются с диска по мере необходимости, что снижает требования к оперативной памяти.

https://github.com/JustVugg/colibri

Кто пробовал?

tg / max

В этом посте были ссылки, но мы их удалили по правилам Сетки

colibri - инструмент, позволяющий запускать модель GLM-5.2 с 744 миллиардами параметров на потребительском компьютере с 25 ГБ оперативной памяти | Сетка — социальная сеть от hh.ru