🚀 Falcon-H1-Arabic: прорыв для арабского языка
TII представил Falcon-H1-Arabic — первую в мире серию моделей для арабского языка с гибридной архитектурой Mamba-Transformer.
Архитектура сочетает State Space Models (Mamba) и Transformer-внимание в каждом блоке, работая параллельно и объединяя представления перед выходом. Это даёт линейную масштабируемость на длинных текстах и точное понимание дальних зависимостей — критично для сложной морфологии арабского. Модели доступны в трёх размерах: 3B, 7B и 34B. Контекстное окно достигает 256K токенов, что позволяет анализировать сотни страниц за раз. Обучение проводилось на 300 млрд токенов, включая MSA, диалекты (египетский, левантинский, заливной, магрибский), английский и мультиязычный контент.
Модель 34B превосходит даже Llama-3.3-70B в OALL и других бенчмарках, демонстрируя 75% точности. На STEM-задачах (3LM) — до 96%. Лучшие результаты в охвате диалектов (AraDice) и культурных знаниях (Arabculture).
