Выложили пэйпер про T-pro 2.0
До-тренировка опенсорса на другой язык дает лучше результат на этом языке и значительно эффективней в инференсе за счет локального токенизатора и оптимизированного спекулятивного декодера.
Все расписали в репорте: архитектура, датамикс, подход к обучению, токенизации и прочее.
Если вы захотите повторить наш опыт, можете пользоваться рецептом.
Поставьте нам лайкосов на Hugging Face 🤗