Ссылка на источник - https://www.marktechpost.com/2025/07/30/too-much-thinking-can-break-llms-inverse-scaling-in-test-time-compute/

Новое исследование показывает неожиданный поворот в применении больших языковых моделей: чем больше они «думают» при генерации ответа, тем выше риск получить неточный результат. Речь идёт о так называемом эффекте обратного масштабирования — когда увеличение вычислений на этапе генерации ответа (инференса) начинает ухудшать качество, вместо того чтобы его повышать.

Часто применяемый подход chain-of-thought, при котором модель поэтапно расписывает свои рассуждения, оказался не таким уж универсальным. Если задача не требует глубокого анализа, модель склонна «перерабатывать» — она создаёт слишком длинную цепочку размышлений, усложняет себе путь и теряет точность. Исследования показали, что в ряде задач короткие цепочки reasoning приводят к правильным ответам существенно чаще, чем длинные.

Альтернативой становится параллельное мышление: запуск сразу нескольких независимых рассуждений с последующим выбором лучшего. Такой метод показал значительный прирост качества при меньших затратах. Ещё одно направление — ранняя остановка: модель учится определять, когда «достаточно подумала», и не продолжает рассуждать без необходимости. Это позволяет сократить время генерации и снизить нагрузку на инфраструктуру.

Практический вывод — не всегда разумно стремиться к максимально глубоким reasoning-цепочкам. Иногда эффективнее дать модели возможность быстро принять решение или предоставить ей несколько попыток, а не одну, но длинную. Такой подход может дать не только выигрыш в точности, но и серьёзную экономию в вычислениях. Особенно актуально это становится при внедрении LLM в продакшн‑системы, где важны и скорость, и предсказуемость поведения.