На Хабре вышла статья нашего коллеги Владимира Никулина о том, как мы ускоряем инференс ASR(и не только) моделей. Ребята стабильно демонстрируют чудеса оптимизации, очень рекомендую к прочтению.