Недавно я столкнулся с задачей определения диалектов арабского языка. У меня базовые знания, примерно А2. Поговорить о погоде могу, но вести светскую беседу и уж тем более определить диалект выше моей компетенции. В поисках решения стал изучать библиотеки и фреймворки. После нескольких дней плотного изучения вопроса, остановился на библиотеке для языка python со звучным название CAMeLTools. Цель разбил на несколько этапов. 1. Установка и настройка. 2. Оценка эффективности и достоверности. 3. Создание рабочей программы. Первый этап прошел легко. Важный момент, под windows работают не все функции библиотеки. Как раз определение диалекта не работало. Теперь второй этап. Чтобы проверить эффективность и достоверность требуется два корпуса слов, классический фусха и сирийский диалект. И если с первым корпусом проблем нет, много и готовых корпусов и большая часть литературы, то примеров письменного сирийского гораздо меньше. Сейчас на этапе два. Если кто уже работал с этой библиотекой, с удовольствие послушаю и обменяюсь опытом.