Открытая модель Xiaomi MiMo-V2.5-Pro вышла в конце апреля и сразу собрала волну постов в духе «убийца Claude». Лицензия MIT, прайс в три-пять раз ниже фронтир-моделей.

📍 Проверили заявления на собственных продакшн-сервисах. Сравнили MiMo с gpt-4o-mini на короткой ежедневной задаче, автоматической разметке комментариев по типу и тональности. Ожидали, что раз модель сильнее, то и результат будет лучше, и не придётся переплачивать за более чистую разметку, как было бы с Claude Opus.

⚡️ Что получилось.

Чище не стало. MiMo проиграла gpt-4o-mini заметно, 65% против 90% по нашему эталону. И главное, дело не в настройках. Модель действительно хуже понимала, о чём комментарий. Там, где надо уловить тон живой человеческой реплики, она спотыкалась чаще простой модели.

И по деньгам никакой выгоды. Дешевле она только топовых закрытых моделей, ради чего весь хайп. А вот рабочего gpt-4o-mini она дороже уже по прайсу, в 5-7 раз за токен. Мы надеялись, что эта надбавка окупится более чистой разметкой, как окупалась бы цена более умной модели. Не окупилась. На нашей задаче MiMo вышла дороже gpt-4o-mini примерно в 11 раз по факту, потому что ещё и многословит вчетверо.

⏩Причина в самой природе reasoning-моделей. Их учат на задачах с однозначным правильным ответом, вроде математики и кода. А разметка короткого комментария это не про логический вывод, это про схватывание смысла с первого взгляда. Долгое рассуждение тут не помогает, а наоборот уводит модель в сторону.

Вывод простой. «Умнее на бенчмарках» не равно «лучше на твоей конкретной задаче». Перед тем как менять рабочую модель на новую и модную, прогоните её на своих реальных данных и посчитайте не цену по прайсу, а итоговую стоимость и точность.

👉 Подробный разбор с таблицами, методологией и декомпозицией одиннадцатикратного разрыва на нашем Дзене "Шашков & Головко • AI в решениях".

#ИИ #AI #Нейросети ——— #Инструменты #MiMo ✍️ Подписывайтесь: @aiforproduct