Liquid AI представила компактную MoE-модель LFM2.5-8B-A1B для потребительских устройств
Liquid AI выложила LFM2.5-8B-A1B — компактную MoE-модель с 8 млрд общих и 1 млрд активных параметров. Её явно целят в ноутбуки и смартфоны, а не в серверный пафос: по умолчанию включён режим рассуждений, есть вызов инструментов и поддержка llama.cpp, MLX, vLLM, SGLang и ONNX Runtime.
По сравнению с LFM2-8B-A1B окно контекста раздули с 32 до 128 тыс. токенов, предобучение — до 38 трлн токенов, плюс добавили крупное RL. Особенно полезно удвоение словаря до 128 тыс. единиц: для нелатинских письменностей это не косметика, а вполне практичная штука. На Apple M5 Max модель держит 253 токена/с и укладывается в 6 ГБ памяти; на смартфоне — около 30 токенов/с.
Источник: Machinelearning
Все новости: ai.popovs.tech
В этом посте были ссылки, но мы их удалили по правилам Сетки
