27 октября 2026 Яндекс и Школа анализа данных выложили открытый MTGBench: семь текстовых игр на несколько ходов, на русском и английском, а не ещё одна таблица "кто умнее". Модель с верхней строки общего рейтинга на третьем уточнении начинает спорить сама с собой: вчера запомнила ограничение, сегодня пишет так, будто его не было. Для разработки ИИ-агентов это больнее, чем слабый балл, потому что агент живёт в диалоге, а не в одном ответе. Нам бенчмарк экономит шаг: до выбора модели видно, держит ли она новые вводные и не противоречит ли себе. Рейтинг лучших здесь не работает Мы долго смотрели на сводные таблицы и спорили, какие агенты получатся, если взять модель с верхней строки. Потом один и тот же сценарий разваливался на разных шагах: букву и символ модель ловила, а смысл ограничения через два хода теряла. MTGBench как раз про это. Вместо общего места - семь игр: Wordle, Word Chain, Situation Puzzles, 20 Questions, Wheel of Fortune, 20 Features и Alias. Четыре проверяет алгоритм, три - ИИ-судья, сверенный с людьми. Задания для языков собраны отдельно, это не перевод одной колоды. Статья вышла в Findings of EMNLP 2026. Прогнали 16 моделей, от небольших Qwen до крупных Gemini и GPT. Польза пошагового рассуждения сильна там, где надо работать с буквами, символами и отсевом вариантов, и слабее на поиске знаний и семантике. Высокий балл в одной игре на другую не переносится. В русском модели в целом хуже, чем в английском. Сильнейшие с включённым рассуждением сравнялись с собранной человеческой базой или обошли её во всех семи играх. Люди при этом были сильны именно на буквенных головоломках. Яндекс ИИ-агент из этой новости не собирается. Это тест, которым можно отсечь модель до того, как она сядет в контур. Пресс-релиз таблицу баллов по моделям не публикует: цифры смотрят в репозитории и в статье, а не в пересказе. Как посмотреть за один заход Репозиторий открытый: код под MIT, датасеты, разметка и промпты под CC BY 4.0. Нужен Python 3.11+ и OpenAI-совместимый API, если нужна живая партия. Опубликованные таблицы воспроизводятся без вызовов модели. Первый ход, который мы делаем всегда: клонируем https://github.com/skyberg11/MTGBench и запускаем python -m analysis.reproduce. Так видно, как устроен разбор, и не тратится ни один токен. Живой эпизод идёт отдельно и узко. Это одна партия, не сотня: запускаем mtgbench wordle с параметром --language ru и своим ключом. Русский Wordle здесь не та же игра на другом языке. Он тянет RuWordNet, у словаря свои условия. Если агент у заказчика говорит по-русски, английская партия почти ничего не доказывает. Смысл не в том, чтобы объявить победителя. Смысл - посмотреть, где модель держит новое правило хода, а где начинает отвечать из памяти "как обычно бывает". Где тест сам подводит Три игры без отдельной проверки не закрываются: алгоритма на них нет, нужен свой проверяющий контур. До выбора модели я не смотрю на верхнюю строку общего рейтинга. Смотрю, держит ли она новое ограничение через несколько ходов, и на русском, если так говорит агент. Баллы беру из репозитория и статьи, а три игры без алгоритма закрываю своим проверяющим контуром. Полностью - в блоге: https://inteltek.ru/blog/186