🚀 TRL ускорили в 20 раз с RapidFire AI

Hugging Face интегрировала RapidFire AI в TRL для молниеносной настройки LLM.

RapidFire AI позволяет запускать несколько конфигураций fine-tuning одновременно, даже на одном GPU, за счёт адаптивного chunk-расписания. Данные делятся на части, а модель переключается между конфигами на границах чанков. Это даёт ранние метрики для сравнения и максимизирует загрузку GPU. Через дашборд можно останавливать слабые прогоны, клонировать успешные и запускать новые — без перезапуска задач.

Интеграция поддерживает SFT, DPO и GRPO через RFSFTConfig, RFDPOConfig, RFGRPOConfig — как замену стандартным настройкам TRL. В бенчмарках ускорение достигает 20×: 8 конфигураций на 1 GPU обрабатываются за 12 минут вместо 240.

#trl #huggingface #llm_finetuning #rapidfireai #ai_optimization #mlops