Moonshot AI выпускает Kimi K2: триллион-параметрическую MoE-модель, ориентированную на длинный контекст, код, рассуждения и агентное поведение

Читать статью

Суть: Moonshot AI выпустила Kimi K2 — открытую модель типа "смесь экспертов" (MoE) с общим числом параметров в 1 триллион. Модель специально разработана для агентных рабочих процессов, то есть для автономного выполнения задач, а не просто для генерации ответов. Kimi K2 — это не просто чат-бот, а система, способная к автономной декомпозиции задач, выполнению последовательностей инструментов, написанию и отладке кода, анализу данных и оркестрации рабочих процессов с минимальным вмешательством человека. Модель демонстрирует высокую производительность в задачах кодирования и рассуждения, превосходя по некоторым показателям GPT-4.1 и Claude Sonnet 4, при этом являясь значительно более дешёвым решением.

Подробности: Kimi K2 — это модель с архитектурой "смесь экспертов" (MoE), где из 1 триллиона общих параметров на каждый токен активируется 32 миллиарда. MoE — это архитектура, которая использует несколько специализированных подсетей ("экспертов"), и для каждого входного токена выбирается наиболее подходящая комбинация из них. Это позволяет значительно увеличить общее число параметров, сохраняя вычислительные затраты на приемлемом уровне. Архитектура Kimi K2 включает 384 эксперта (8 активных) и поддерживает контекстное окно в 128 тысяч токенов. Для обучения на 15,5 трлн токенов использовался кастомный оптимизатор MuonClip, обеспечивший стабильность процесса. Модель создана для агентных сценариев: она может автономно разделять задачи, использовать инструменты (до 17 за сессию), писать и отлаживать код. Модель доступна в двух вариантах: Kimi-K2-Base для дообучения и Kimi-K2-Instruct для прямого использования. На бенчмарках она показывает высокие результаты: 71,6% на SWE-bench (оценка возможностей в разработке ПО), 89,5% на MMLU (оценка разносторонних знаний) и 53,7% на LiveCodeBench. Стоимость использования модели составляет $0.60 за входные данные и $2.50 за выходные на миллион токенов, что, по заявлению в статье, примерно в 5 раз дешевле аналогов.

Технологии: • MoE • Transformer • MuonClip

Аудитория: • разработчики • исследователи ИИ • стартапы

Влияние: Выпуск Kimi K2 знаменует стратегический сдвиг от "думающих агентов" к "действующим системам" — ИИ, способному автономно выполнять задачи, вызывать API и создавать конечные продукты. Высокая производительность и открытый исходный код могут подтолкнуть индустрию к переосмыслению архитектур ИИ в сторону агентных моделей. Кроме того, успех Kimi K2 демонстрирует, что передовые разработки в области ИИ могут исходить не только из Кремниевой долины, усиливая конкуренцию на мировом рынке.