В России появилась первая независимая русскоязычная платформа для оценки качества больших языковых моделей на основе пользовательских задач – LLM Arena, созданная Романом Куцевым совместно с экспертами по нейросетям и бывшими разработчиками TrainingData.ru.
Платформа позволяет в режиме реального времени тестировать русскоязычные нейросети и оценивать качество их ответов в соответствии с запросом.
Сейчас пользователям доступны для тестирования 21 наиболее популярная генеративная нейросеть, среди которых ChatGPT, LLaMa, YandexGPT, GigaChat и Saiga. При желании новые модели смогут добавить и их разработчики.
В ближайшее время на платформе появятся новые возможности, которые позволят оценивать качество ответов по разным категориям запросов, например, написание кода, решение сложных вопросов или поддержка длинного контекста беседы.
Источник: пресс-служба LLM Arena
