⏺ Большая языковая модель A-Vibe от Авито заняла первое место среди облегченных моделей (до 10 млрд параметров) в независимом российском бенчмарке MERA
Заявлено, что A-Vibe лучше аналогичных моделей из рейтинга понимает запросы, генерирует код и поддерживает осмысленный диалог. Нейросеть обошла такие модели, как GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku и Mistral Large. Тестирование включало задачи различной сложности — от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом.
Некоторые результаты тестирования:
🗄 Генерация кода: на 25% лучше Gemini 1.5 с 8 миллиардами параметров 🗄 Ведение диалога: на 32% точнее Llama 3.1 с 405 миллиардами параметров 🗄 Способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku
💬 Подробности в релизе.
