🗞🗞🗞🗞 Wildberries и Russ выпустила первую собственную большую языковую модель на 20 млрд параметров и сразу обошла в бенчмарке Альянса ИИ прежнего лидера среди отечественных моделей — новый GigaChat Ultra на 700 млрд параметров.

Модель называется BerryLM-MT. В её основе — модная сейчас архитектура Mixture of Experts, которая позволяет для решения задачи задействовать только необходимое число параметров в зависимости от запроса. Представьте большую компанию, где вместо одного универсального специалиста по PR и маркетингу работает команда узких экспертов: редактор, аналитик, специалист по работе со СМИ, диджитал-маркетолог, SMM-менеджер и другие. (Конечно, это грубое сравнение.) Примерно так же работает и эта модель: внутри неё несколько специализированных «подмоделей». Поэтому она эффективнее использует свои ресурсы.

Скорее всего, модель дообучена (fine-tuning) на базе одной из открытых моделей, однако мы этого пока не знаем, потому что Wildberries и Russ забыла о ней рассказать.