🧠 Falcon H1R 7B — рекордный малый LLM
TII представил Falcon H1R 7B — компактную модель с мощными рассуждающими способностями.
Модель обучена на трёхэтапном пайплайне: fine-tuning на данных с пошаговыми рассуждениями (математика, код, наука), фильтрация сложных примеров и дообучение через RL с алгоритмом GRPO. Ключ — гибридная архитектура Transformer–Mamba и метод DeepConf для фильтрации слабых цепочек рассуждений при inference. Поддерживает тест-тайм скейлинг с высокой токен-эффективностью.
На математических (AIME-24: 88.1%) и кодинг-бенчмарках (LCB v6: 68.6%) модель обгоняет конкурентов в 2–7 раз крупнее. При инференсе при пакете 64 выдаёт до 1500 токенов/сек/ GPU — почти вдвое быстрее Qwen3-8B.
