► «Яндекс» опубликовала в открытый доступ Alice AI Foundation LLM — претрейн-версию новой большой языковой модели, обученной с нуля
Модель рассчитана на исследовательские и коммерческие проекты. Распространяется по лицензии Apache 2.0. Она также служит экспериментальной основой для архитектурных решений будущей единой рассуждающей модели «Яндекса».
Alice AI Foundation LLM построена по архитектуре MoE (Mixture of Experts) и содержит 80 млрд параметров. При генерации ответа активны около 3 млрд параметров, что снижает требования к вычислительным ресурсам.
По заявлению разработчиков, модель показывает сильные результаты в:
‣ программировании; ‣ сложных логических задачах; ‣ математическом рассуждении; ‣ работе с фактическими знаниями; ‣ сценариях, требующих агентного поведения.
Сама модель, технический отчет и бенчмарки доступны на Hugging Face и Хабре.
💬 MAX | 💬 TG | 💙 VK |🔗Сайт | 📝 Дзен
В этом посте были ссылки, но мы их удалили по правилам Сетки
