Olmo Hybrid: 2x эффективность данных через гибридную архитектуру

AI2 выпустил Olmo Hybrid (7B параметров) с гибридной архитектурой transformer + linear recurrent layers, достигая точности Olmo 3 на MMLU используя на 49% меньше токенов. 2x эффективность по данным означает дешевле обучение, быстрее инференс, и возможность развернуть мощные модели локально — это переворот для edge-AI и корпоративных deployment'ов.

https://allenai.org/olmo/