Новости за последний час Исследование показало, что для слоёв Muon нужно разное число итераций Ньютона—Шульца Авторы работы Spectral Scaling Laws of Muon изучили спектральную динамику буферов моментума в оптимизаторе Muon при предобучении больших языковых моделей. Они обнаружили, что поведение сингулярных чисел по слоям подчиняется чётким степенным законам и требует разной настройки числа итераций ортонормирования. Источник: gonzo-обзоры ML статей

Все новости: ai.popovs.tech