Kimi K2.6 теперь запускается почти на любом устройстве.

Модель на 1 триллион параметров сжата до 340 ГБ через Dynamic GGUF. Рабочий компромисс, не требующий кластера из сотен GPU.

Запуск возможен на CPU, GPU и SSD. Скорость >40 токенов/сек при ~350 ГБ RAM/VRAM. Полная точность требует 610 ГБ.

Первый случай доступности модели такого масштаба вне датацентров.

Гайд: GGUF: 🟪 MAX ❤ TG

В этом посте были ссылки, но мы их удалили по правилам Сетки