27 октября Яндекс и Школа анализа данных представили MTGBench, набор из семи игр для проверки нейросетей. В них модель должна учитывать прошлые ходы и новые подсказки, а результаты помогают увидеть, как она справляется с продолжительным диалогом.

Зачем ИИ играть в слова

В обычном чате условия тоже приходят по частям. Сначала человек просит подобрать товар, потом уточняет бюджет, а следом добавляет: "Нужна доставка до пятницы". Если бот забудет хотя бы одно условие, красивый ответ придётся отправить в корзину.

В MTGBench есть игры на русском и английском языках. Например, в игре в города нужно продолжать цепочку и избегать повторов, а в Wordle угадывать слово по подсказкам о буквах. Каждый ход меняет то, что модель знает о задаче.

Что выяснили исследователи

Авторы сравнили 16 моделей. Расстановка сил зависела от игры: хороший результат в одной задаче не гарантировал такого же результата в другой.

Режим рассуждений, в котором модель решает задачу по шагам, особенно помогал в играх с буквами. В заданиях на знания и понимание смысла польза от этого режима зависела от модели.

Есть и ограничение самой проверки. В четырёх играх ответы оцениваются алгоритмами, в трёх участвует другая нейросеть. Нейросеть-судья тоже может ошибаться, поэтому авторы отдельно сравнивали её оценки с человеческими.

Как это применить к своему боту

Практический совет: перед выбором модели проверьте несколько диалогов, похожих на ваши рабочие обращения. Давайте условия постепенно и смотрите, сохраняются ли они к концу разговора. Это отдельная проверка для вашей задачи; игровые баллы её не заменяют.

Вот учебный пример для бота интернет-магазина. Вымышленный каталог содержит две настольные лампы: "Лён" за 4 000 рублей с доставкой в четверг и "Круг" за 6 000 рублей с доставкой в субботу.

Первое сообщение: "Подбери настольную лампу до 5 000 рублей". Следом: "Она должна приехать до пятницы". Затем: "А модель Круг подойдёт?"

Ожидаемое поведение можно задать заранее. Бот должен объяснить, что "Круг" превышает бюджет и приезжает позже нужного срока. "Лён" подходит по обоим условиям из этого каталога. Если бот молча отбросил бюджет или дату, запишите конкретную ошибку и проверьте её после правок. Все цены и сроки здесь придуманы для примера.

Код, данные и результаты MTGBench опубликованы открыто. Разработчики могут подключить выбранную модель и запустить эти тесты. Запросы к модели могут быть платными: это зависит от тарифа сервиса.

Источники: сообщение Яндекса от 27 октября 2026 года, статья MTGBench в Findings of EMNLP 2026 и репозиторий проекта.

Какое условие нейросеть чаще теряет в ваших диалогах: бюджет, сроки или что-то ещё?

#ИИ #Нейросети #Боты