YaFSDP на свободе!

Яндекс разработал и выложил в открытый доступ библиотеку YaFSDP. YaFSDP — это инструмент для ускорения обучения LLM и сокращения расходов на GPU. Библиотека рассчитана в первую очередь на большие языковые модели.

С мест сообщают, что библиотека даёт ускорение до 25% при обучении моделей — результат зависит от архитектуры и параметров нейросети. Например, при обучении опенсорс-модели LLaMA 2 при использовании YaFSDP ускорение 21% по сравнению с решением от Facebook.

Экономика должна быть экономной, так как железо в теме обучения LLM — очень важный аспект, считаю, что библиотека YaFSDP — это реально крутой результат.