Как создавали новое поколение моделей для самого популярного ИИ-ассистента в России.

Согласно исследованию Mediascope, Alice AI вышла на первое место по используемости среди россиян (14,3%), обойдя ранее доминировавший DeepSeek (9,4%). Модель Alice AI LLM доступна и для разработки собственных AI-решений на платформе Yandex AI Studio. И иногда приятно заглянуть под капот и вот сейчас есть такая возможность.

Вчера Алексей Колесов выложил на хабр публикацию — Техрепорт Alice AI: как мы создавали новое поколение моделей для самого популярного ИИ-ассистента в России Много интересных деталей, например:

— Создан собственный фреймворк распределённого обучения YaFSDP и библиотека YCCL, ускоряющая коммуникации (reduce-scatter работает вдвое быстрее NCCL).

— Совокупно оптимизации снизили долю сетевых задержек и увеличили производительность: текущий пайплайн обучения стал в 1,5 раза быстрее предыдущего (EP+FSDP полугодовой давности) и в 4 раза быстрее наивного решения без экспертного параллелизма.

— Объём данных предобучения Alice AI VLM увеличен с 400 до 600 млрд токенов, контекст расширен до 32 тыс. токенов.