colibri

Это инструмент, позволяющий запускать модель GLM-5.2 с 744 миллиардами параметров на потребительском компьютере с 25 ГБ оперативной памяти.

Программа написана на чистом языке C и не требует дополнительных зависимостей.

Она использует технологию Mixture of Experts (MoE), где эксперты загружаются с диска по мере необходимости, что снижает требования к оперативной памяти.

Lang: C https://github.com/JustVugg/colibri