Я активно слежу за развитием моделей, которые могут быть запущены на edge-устройствах. И мои домашние автоматизации давно крутятся на LFM2.5-2.6B от LiquidAI. Само семейство моделей достаточно тупенькое (хоть и очень шустрое), но возможностей хватает для множества простых задач.

Но недавно ликвиды выпустили LFM3-1.7B – новую модель с обновленной архитектурой. В ней достаточно много интересностей:

• Нативный контекст до 256K токенов. И судя по разведке одного из юзеров, в Q8 квантовании модель спокойно помещается в 8Gb VRAM с максимальным контекстным окном. • Практически в 2 раза меньше параметров при значительном приросте в бенчмарках по сравнению с моделью прошлого поколения. • Модель, по словам создателей, адаптирована для специализации и дообучения. Возможно, она станет отличным кандидатом для моих экспериментов.

Архитектура lfm3 новая и поддерживается только в свежих сборках llamacpp, так что мой любимый lemonade server пока ее не поддерживает. Но процесс переноса своих мелких автоматизаций в экспериментальном режиме я уже начал. Будем посмотреть!