Tencent представила MoE-модель Hy3 с контекстом до 256 тысяч токенов
Tencent выложила на Hugging Face Hy3 — MoE-модель с 295 млрд параметров, где на токен активируется около 21 млрд. Для такого размера это довольно экономная схема, и в слепых тестах Hy3, по заявлению компании, обходит GLM-5.1.
Самое заметное здесь — контекст до 256 тысяч токенов без sparse attention и без MLA: ставка сделана на обычный GQA. Модель уже можно запускать через vLLM и SGLang, а лицензия Apache 2.0 делает историю куда практичнее, чем очередной закрытый анонс.
Источник: Machinelearning
Все новости: ai.popovs.tech
