🚀 Сравнение open-source RL-библиотек для LLM

Опубликован разбор популярных библиотек для обучения LLM с подкреплением.

В докладе сравниваются TRL, Verl, OpenRLHF, RAGEN, AReaL, Verifiers, ROLL, NeMo-RL, SkyRL и slime. Оцениваются гибкость, производительность, поддержка агентного обучения и многотурного взаимодействия. Ключевые аспекты — backend (FSDP, DeepSpeed, Megatron), движки (vLLM, SGLang), поддержка асинхронной генерации и сред, а также использование Ray для оркестрации. Например, Verl и OpenRLHF ориентированы на масштабируемость, TRL — на интеграцию с Hugging Face, а SkyRL и ROLL — на модульность и мультиагентные сценарии.

Библиотеки с асинхронной генерацией повышают эффективность использования GPU на 30–40% при долгих сессиях.

#rlhf #llm_training #reinforcement_learning #open_source #ray #ai_agents