Всем привет, на связи Иван Шашков 🖐️

Вчера вышла Kimi 3, и она заставила напрячься даже OpenAI и Anthropic. Шутка ли, друзья, мы получили первую в мире открытую модель класса 3T!

Ну типа 3 трлн параметров (у нее 2.8 трлн) и контекст в 1 млн токенов. И пока западные лаборатории держат флагманы за закрытыми дверями, китайцы двигают свой опенсорс на территорию реальных SOTA-моделей.

Kimi 3 - это не просто увеличенная предыдущая версия. Тут добавили Kimi Delta Attention - это гибридный механизм внимания, который позволяет эффективнее работать с длинным контекстом (как раз в 1 млн токенов). Еще внедрили Attention Residual: каждый новый слой нейронки теперь может выбирать, какие представления из предыдущих слоев ему нужны для работы, а какие нет.

Конечно, это Mixture of Experts (MoE) модель, и у нее 896 экспертов, но для каждого токена активируется только 16 из них. Это рекордная разреженность для модели такого класса! Вместе с новой архитектурой, обучением и подготовкой данных всё это повысило эффективность вычислений примерно в 2.5 раза.

Если смотреть на независимые тесты и бенчмарки, то третья версия сейчас уступает только двум закрытым моделям в мире - Claude 3.5 Sonnet и GPT-4o. А всех остальных, включая Opus, она уверенно обходит.

Разработчики поделились экспериментами с моделью в длительных агентских задачах:

• За 48 часов она разработала проект чипа для запуска компактной нейросетки.
• За 2 часа воспроизвела сложное астрономическое исследование (у живого исследователя на это ушло бы недели две). Локально такого монстра запустить проблематично - разве что у вас есть стойка где-то на 64 GPU по 48 гигов каждая.

Цены по API прилично так подняли: теперь $3 за миллион входных токенов и $15 за выходных. Это уже территория коммерческих тарифов. Веса обещают выложить 27 июля. Когда это произойдет, у сообщества впервые окажется в руках инструмент такого класса в открытом доступе.

Разрыв между коммерческими моделями и опенсорсом сокращается на глазах, а западные компании, кажется, реально нервничают (у меня вот в Клоде вчера лимиты в очередной раз сбросились).

Если уже успели попробовать модель - пишите ваше мнение в комментариях, давайте обсудим!