Очень понятно и наглядно про адаптацию LLM к русскому языку от руадаптной.
Многоязычные токенизаторы не слишком эффективны для русского в плане скорости инференса - количество символов на токен неоптимально. Они разработали метод, которым можно заменить токенизатор на входе в модель и минимальным дообучением адаптеров - сделать так, чтобы модель не забыла свои знания, но отвечала уже в новых токенах. Причем и для базовых и для инструктивных версий моделей. В результате - ускорение инференса на русском языке на десятки процентов при практически эквивалентном качестве.
В этом посте были ссылки, но мы их удалили по правилам Сетки
