Сомнений в том, что нужно делать свою модель вообще нет.

Написанный на Rust энкодер просто рвет всех в клочья:

256k токенов реально обработано на GPU: 5.09 с, 51541 ток/с, 1 313 MiB.

И это на карте RTX 3060 12gb чтобы вы понимали на какой-нибудь 5090 это будет x5-x10 по скорости.

Возникают мысли вскрыть модель побольше типа Qwen3.8 27b и интегрировать туда свой экнодер, для ускорения префила. Но это так пока теория, посмотрим что будет дальше.