Почему облачный STT на живом звонке отдаёт partials с задержкой 400+ мс, хотя бенчмарки обещают 150.

Deepgram и Soniox в лаборатории дают TTFS ~250 мс. На Windows shared-mode WASAPI уже добавляет 5–12 мс периода + DPC. Сеть и очередь облака доводят end-to-end до 400–800 мс. Ты уже начал отвечать — панель ещё думает.

Talkaside открывает два независимых клиента WASAPI: capture на микрофон (outgoing) и loopback на render endpoint (incoming, AUDCLNT_STREAMFLAGS_LOOPBACK). Каждый трек ресемплится отдельно в 16 кГц mono. Локальный Parakeet TDT v3 на CPU даёт 11–13× realtime, WER ~2% на быстрой речи. Whisper large-v3 на RTX 3080 Ti — 10–15×, partials 150–400 мс без сети. Авто-failover мерит latency и переключается, если partial >300 мс.

Companion mode берёт чистый транскрипт + CV и выдаёт короткие формулировки. Practice mode (27 языков) разбирает vocabulary и grammar. После звонка полный транскрипт с таймстемпами и AI-сводка лежат на диске.

https://talkaside.com/

Почему облачный STT на живом звонке отдаёт partials с задержкой 400+ мс, хотя бенчмарки обещают 150.
Deepgram и Soniox в лаборатории дают TTFS ~250 мс | Сетка — социальная сеть от hh.ru