🇨🇳 Новый претендент на трон в задачах программирования: MiniMax M2.1 и смерть старых бенчмарков

Недавно китайская лаборатория MiniMax выкатила своего монстра — M2.1. И они не просто вывалили веса, а опубликовали очень грамотный разбор, почему текущие стандарты оценки (SWE-Bench) — это детский сад, и предложили новую парадигму. 👉 Почему SWE-Bench больше не торт? Все сейчас меряются метриками на SWE-Bench (исправление багов в Python-репозиториях). MiniMax справедливо замечает: 1. Моноязычность: Мир не состоит только из Python (хотя нам бы этого хотелось). Реальный энтерпрайз — это зоопарк из Java, Go, Rust и TS в одном флаконе. 2. Узость задач: Фикс бага — это лишь часть работы. SWE-Bench игнорирует рефакторинг, код-ревью, написание тестов с нуля и CI/CD конфигурации. 3. Игнорирование окружения: Тесты проходят, но приложение может не собраться или выглядеть как привет из 90-х.

👉 VIBE Bench: Новый стандарт? Вместо того чтобы просто парсить AST, они выкатили VIBE (Visual & Interactive Benchmark). Суть: модель генерит приложение (веб, Android, iOS), оно реально собирается, запускается в песочнице, и другой агент (Agent-as-a-Verifier) кликает по кнопкам, проверяя: — Не падает ли оно при запуске? — Работает ли бизнес-логика? — Не выглядит ли UI как кусок 💩?

Это именно то, чего не хватает текущим агентам. Написать функцию они могут, а собрать рабочий билд, который не стыдно показать — уже не совсем.

💡 Что под капотом M2.1? — Оптимизация под Agentic Scenarios: длинный контекст, сложное планирование и тул-юзинг. — Interleaved Thinking: модель умеет "думать" (CoT) в процессе генерации, что критично для сложных задач. — Поддержка vLLM и SGLang из коробки.

Продолжаем двигаться в сторону того, что модели это не "написать правильный синтаксис", а это "создать рабочий продукт".

🔗 Почитать про M2.1 и критику SWE-Bench 🔗 Почитать про VIBE Bench