Сбер выложил пачку докладов про симбиоз салюта и гигачата. Вот тут про asr часть.
Рассказали, как обучали новый GigaAM(Hubert на основе кластеризации эмбеддингов предыдущей версии). Есть открытая маленькая и приватная большая версия. Маленькую можно коммерчески юзать, и это, наверно, интересно. Большую - только в ТГ боте, ну или в Сберовских продуктах. Вывод - Hubert для ASR задачи сильно лучше Wav2Vec2 и Best-RQ при прочих равных.
Мультимодальная модель - проекция эмбеддингов ASR энкодера в токены LLM, дообучение самого энкодера, адаптера, и LoRA внутри самой ллм-ки.
Говорят, что на русском - победили всех, кроме Gemini. Ничего не рассказали про streaming сценарий и задержки, к сожалению.
