Яндекс и Школа анализа данных открыли MTGBench — набор из семи текстовых игр для проверки рассуждений нейросетей. На нём сравнили 16 моделей. Задания на русском давались им хуже, чем на английском.

Среди игр — «Поле чудес», «Данетки» и Wordle. Нужно использовать подсказки, учитывать предыдущие ходы и выбирать следующий шаг. Исследователи оценивают, удалось ли решить задачу и сколько шагов на это ушло.

Мне здесь интересна связь с обычным разговором в чате. Просишь подобрать решение, потом добавляешь ограничение по бюджету, затем уточняешь сроки. Хочется, чтобы модель учла уточнения и сохранила условия, которые ты задал в начале.

Игры позволяют проверить часть такого поведения по понятным правилам. Но результат в Wordle ещё не говорит, насколько хорошо нейросеть разберёт техническое задание или поможет с кодом. Для этого нужны свои проверки.

Разница между языками — ещё одна причина внимательно смотреть, из чего складывается место модели в рейтинге. Если работаешь на русском, полезно знать, проверяли ли её вообще на русскоязычных заданиях и насколько они похожи на твои.

Я бы при выборе модели взял несколько своих задач с уточнениями по ходу диалога. Проверил бы, какие условия она потеряла и сколько раз пришлось её поправить. Модель с более низким общим баллом вполне может оказаться удобнее именно в такой работе — это уже стоит выяснять на своих примерах.

#ИИ #Яндекс #Нейросети #Тестирование #Разработка