Если вам не интересно, как устроены большие языковые модели и почему длинные тексты стоят дорого, — этот цикл можно смело пропустить. Дальше будут архитектуры, KV-кэш и бенчмарки. Если интересно — добро пожаловать.

Начинаю цикл постов про Jamba — гибридную языковую модель от AI21 Labs. Это одна из экспериментальных архитектур, которые сейчас активно исследуются. В своих проектах мы будем прорабатывать и другие подходы: гибриды с Mamba-2, линейное внимание, альтернативные SSM и оптимизации для длинного контекста. Но Jamba — хорошая отправная точка, потому что она наглядно показывает, как можно обойти ограничения классического Transformer.

Почему это вообще важно?

Современные LLM в основном построены на Transformer. Его механизм внимания позволяет каждому слову «посмотреть» на любое другое слово в тексте. Это мощно, но дорого: чем длиннее текст, тем больше вычислений и памяти нужно. При контексте в 256 тысяч токенов KV-кэш типичной модели может занимать десятки или сотни гигабайт. Это как хранить конспект всего разговора, который растёт с каждой фразой.

Jamba предлагает гибрид: часть слоёв — обычное внимание Transformer, часть — Mamba (модель пространственных состояний), а часть — смесь экспертов. В итоге модель на 52 млрд общих и 12 млрд активных параметров держит контекст 256K и занимает около 4 ГБ под KV-кэш. Для сравнения: у Mixtral 8x7B при том же контексте — около 32 ГБ, у Llama-2 — около 128 ГБ.

Что будет в следующих постах:

· почему длинный контекст — это боль; · что такое Mamba и чем она похожа на блокнот; · что такое смесь экспертов; · как всё это собрано в Jamba; · что показывают тесты; · что мы берём в свои проекты.

Если тема близка — ставьте лайк, подписывайтесь, чтобы не пропустить продолжение. В комментариях можно написать, какие архитектуры вам интересны — учту при планировании следующих циклов.

Источники: arXiv:2403.19887, блог AI21 #LLM #AI #Jamba #Mamba #MachineLearning #АрхитектурыLLM