🇷🇺 YandexGPT 5 Pro — российский ИИ с китайским сердцем? 🇨🇳

В продолжение поста про стоимость обучения ИИ‑моделей от «больших игроков», мимо радаров как-то проскочила важная новость: в YandexGPT 5 Pro Яндекс использовал предобученные веса китайской модели Qwen‑2.5‑32B‑base от Alibaba вместо того, чтобы стартовать с нуля.

📜 В официальной статье на Хабре Яндекс пишет:

Что, если взять полный цикл обучения модели (Pretrain, SFT, RL), в котором у нас накоплен серьёзный опыт, и инициализировать его не случайными весами, а предобученными — например, Qwen‑2.5‑32B‑base? Именно так мы и сделали — потому что instruct‑версия дала худшие результаты.”

Они добавляют:

Такое совмещение позволило сократить длительность экспериментов в 20 раз и существенно сэкономить ресурсы на подбор гиперпараметров.

🧠 Что это означает на практике?

Да, Яндекс действительно перенял начальный “мотор” — архитектуру и веса, но всё остальное - настройка под русский язык, RLHF (выравнивание под человека), SFT (тонкая доводка на задачах), токенизатор, бенчмарки- делается своими руками (это очень дорого и сложно).

Плюс, Яндекс продолжает развивать облегчённую версию Lite, где всё обучение идёт с нуля, без китайской базы. То есть, экспертиза сохраняется.

❓Зачем так делать? ⚡️ Минус 20× итераций — меньше неудачных прогонов → экономия до 20–25 % бюджета и минус 2–3 месяца по срокам. 🗣️ Фокус на русском — все свежие данные, токенизатор и финальная настройка адаптированы под российский контекст. 📄 Безопасная лицензия — Apache 2.0 позволяет использовать, модифицировать и продавать модель без раскрытия кода.

🚗 Китайский мотор — но сборка и тюнинг наши

Это как взять готовый двигатель от китайской машины, но:

• встроить его в российскую раму с локальным кузовом и салоном;
• прошить под зимнюю езду, настроить под отечественные дороги и привычки водителя;
• и обслуживать всё это в своей инженерной сети, под полным контролем.

Да, Яндекс не «сдался» и не стал придатком Qwen — он просто умно сэкономил ресурсы, сохранив контроль над качеством и развитием модели.

Но всё равно как-то обидно, что кусок сердца главной российской ИИ-модели made in china 🇨🇳💔

Источники: статья Яндекса на Хабре, пост AI-директора Т‑банка, который тоже обратил на это внимание.

В этом посте были ссылки, но мы их удалили по правилам Сетки