LoRA
RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization
Адаптация низкого уровня (LoRa) стала широко распространенным стандартом для эффективной настройки параметров больших языковых моделей (LLM), что значительно сокращает объем памяти и вычислительные требования. Однако проблемы остаются, в том числе поиск оптимальных стратегий инициализации или снижение избыточной параметризации при разложении матриц низкого ранга на множители. В этой работе мы предлагаем новый подход, который решает обе проблемы одновременно в рамках единой структуры. Наш метод рассматривает набор матриц LoRa фиксированного ранга как гладкое многообразие. Рассмотрение адаптеров в качестве элементов на этом коллекторе устраняет избыточную параметризацию, в то время как определение направления наиболее быстрого уменьшения потерь вдоль коллектора обеспечивает инициализацию. Особое внимание уделяется получению численно стабильной и вычислительно эффективной реализации нашего метода с использованием лучших практик численной линейной алгебры и римановой оптимизации. Результаты экспериментов с архитектурами LLM и diffusion model демонстрируют, что RiemannLoRA неизменно повышает скорость конвергенции и конечную производительность по сравнению со стандартной LoRa и ее современными модификациями.
