1. Mid-training — изучить опыт ML-инженеров
Берут историю изменений моделей, код и результаты экспериментов. На этих данных продолжают обучение языковой модели Qwen3.
Модель учится понимать архитектуры, технические изменения и закономерности экспериментов. Используются как успешные, так и неуспешные изменения.
Цель: научить модель разбираться в промышленной ML-разработке.
Объём обучения — 112 млрд токенов.
2. SFT — научиться предлагать успешные изменения
Теперь оставляют только примеры, где изменение улучшило результат обучения.
Например, инженер изменил механизм нормализации, и ошибка модели снизилась.
Astar получает описание исходной архитектуры. Её обучают предлагать то изменение, которое действительно принесло улучшение.
Цель: научиться генерировать технические гипотезы, похожие на успешные.
Объём обучения — 81,1 млн токенов.
3. RL — научиться искать новые улучшения
Здесь начинается самое интересное 🤖.
Astar получает описание модели и генерирует 16 разных гипотез.
Но обучать отдельную модель для каждой гипотезы слишком дорого. Поэтому Alibaba обучила дополнительную Reward Model.
Она прогнозирует вероятность улучшения результата обучения для каждой гипотезы.
Дальше алгоритм GRPO сравнивает оценки всех 16 предложений. Astar получает положительное подкрепление за более перспективные варианты.
Этот процесс многократно повторяется.
Цель: научиться предлагать новые изменения, выходящие за пределы исторических примеров.
4. Передача в другую модель, которая реализует улучшение Если всё хорошо, улучшение передаётся на реализацию другой модели. Но это уже отдельная история.
