Probabilistic TRM: стохастический поиск для ускорения инференса в рекурсивных моделях
PTRM — интересный ход в сторону более дешёвого инференса. Авторы берут предобученные Tiny Recursive Models и добавляют стохастический поиск прямо на этапе вывода: в скрытое состояние вносится шум, после чего запускается несколько траекторий, а лучшая выбирается уже готовой Q-head.
Заявления амбициозные: 5–7 млн параметров якобы хватает, чтобы обгонять большие LLM на структурированных задачах, а стоимость инференса падает более чем в 10 000 раз. Если это воспроизводится вне аккуратных стендовых условий, то компактные рекурсивные модели выглядят куда практичнее, чем принято думать.
Источник: gonzo-обзоры ML статей
Все новости: ai.popovs.tech
