Mamba: блокнот вместо собрания

В прошлом посте мы разобрались, почему длинный контекст в Transformer — это дорого: KV-кэш растёт вместе с текстом, а вместе с ним растут память и время генерации.

Теперь знакомьтесь: Mamba. Это модель пространственных состояний, или SSM. Звучит сложно, но идея простая.

Аналогия.

Классический Transformer — это собрание, где каждый токен может напрямую обратиться к любому другому. Все со всеми разговаривают. Плюс — точность. Минус — квадратичный рост вычислений и памяти.

Mamba — это блокнот с фиксированным числом страниц. Модель ведёт скрытое состояние и последовательно обновляет его при чтении каждого нового токена. Прочитала слово — обновила блокнот. Прочитала следующее — снова обновила. Размер блокнота не растёт вместе с текстом.

Что это даёт:

· сложность обработки растёт линейно, а не квадратично; · память при генерации почти не зависит от длины контекста; · на каждый новый токен тратится постоянный объём памяти.

Именно поэтому Mamba так интересна для длинных документов: она не требует хранить конспект всего разговора.

Но есть слабое место.

Всё приходится сжимать в одно фиксированное состояние. Если нужно точно скопировать формат из примеров или вытащить редкую деталь из длинного текста, одного блокнота может не хватить. В обзоре Jamba приводится показатель: на задаче IMDB чистый Mamba набрал 48,8, чистое внимание — 84,1, а гибрид — 90,9.

Именно поэтому авторы Jamba не стали заменять Transformer полностью. Они смешали слои: большинство — Mamba, меньшинство — внимание. Получился гибрид, который сохраняет сильные стороны обоих подходов.

Ключевая мысль: Mamba — не «убийца Transformer», а его экономичный партнёр. В Jamba она отвечает за дешёвую обработку длинных последовательностей, а внимание — за точное копирование и обучение по контексту.

В следующем посте разберём смесь экспертов — ещё один «кит», на котором стоит Jamba. И объясним, почему команда специалистов иногда лучше одного универсала.

Вопрос к читателям: как думаете, что важнее для рабочей модели — точность или экономичность? Или всегда нужен компромисс? Напишите в комментариях #Mamba #SSM #LLM #AI #Jamba #MachineLearning #АрхитектурыLLM