⭐️ Выпущен бенчмарк Alyah для эмиратского диалекта

TII представил Alyah — первый бенчмарк для оценки LLM на эмиратском диалекте арабского.

Бенчмарк включает 1173 примера с вопросами по приветствиям, поэзии, культурным нормам и диалектной лексике. Данные собраны вручную от носителей. Каждый пример — это задание с четырьмя вариантами ответа, один из которых верный. Оценено 54 модели, включая Arabic-native (Jais, ALLaM) и мультиязычные (Llama, Qwen).

Инструкт-модели показали лучшие результаты, особенно в категориях вежливости и образного мышления. Наибольшие сложности вызвали «язык и диалект» и «повседневные выражения».

#arabic_llm #dialect_ai #benchmark #tii #uae_ai