kimi-k3-in-c
Это портативный движок для выполнения вывода модели Kimi K3 с 2,78 триллионами параметров на одном процессоре с использованием 8,24 ГБ оперативной памяти.
Программа написана на языке C99 и не требует использования BLAS, фреймворков или GPU, обеспечивая независимость от внешних библиотек и оборудования.
Для работы требуется быстрый NVMe SSD с минимум 1,56 ТБ свободного места для хранения контрольной точки модели.
Скорость генерации составляет примерно 32,7 секунды на токен при использовании 8 ГБ оперативной памяти.
