Как ИИ отвечает быстрее, не становясь меньше ⚡
При обычной генерации большая языковая модель добавляет текст по одному токену — небольшому фрагменту слова. Спекулятивное декодирование устраивает ей «черновик»: более компактная модель заранее предлагает несколько следующих токенов, а основная проверяет их сразу группой.
Подходящие фрагменты принимаются. На первом неподходящем большая модель вносит исправление, и цикл начинается заново. Поэтому ускорение зависит от того, насколько часто черновик угадывает продолжение. Это не упрощение ответа, а способ реже запускать дорогую проверку по одному шагу.
