🆕Что делает параметр temperature

Это коэффициент, который регулирует «случайность» выбора следующего токена при генерации. Чем выше значение, тем более ровно распределяются вероятности по кандидатам, и модель охотнее пробует альтернативы. Низкая температура делает распределение «острым»: ответы становятся предсказуемее и однообразнее.

Как меняется поведение Низкая (0–0.3): детерминированные ответы, меньше отклонений, но риск повторов и «затекания» в шаблоны. Хорошо для фактов, кода, точных инструкций.

Средняя (0.4–0.7): баланс между разнообразием и устойчивостью. Подходит «по умолчанию» для большинства задач.

Высокая (0.8–1.2 и выше): больше креатива и перефразовок, больше риск неточностей. Полезно для брейншторминга, вариантов формулировок, идей.

Temperature vs. top_p и другие ручки

Temperature часто используют вместе с top_p (nucleus sampling) — ограничением выборки токенов по суммарной вероятности. Практический совет из прод-доков: обычно настраивайте либо temperature, либо top_p, а не оба сразу — иначе эффекты накладываются и сложнее управлять стилем вывода.

Идея nucleus sampling: выбирать следующий токен только из «ядра» самых вероятных, пока их суммарная вероятность не превысит p. Это снижает деградацию текста по сравнению с простым жадным поиском.

Почему иногда «температуры мало»

Даже при низкой temperature модель может «болтать». Частая причина — нечеткий промпт или конфликтующие инструкции в правилах/системных настройках. Для устойчивости важнее задать ясный формат ответа и рамки задачи, чем просто опускать температуру.

Динамическая температура

Свежая линия исследований — выбирать температуру адаптивно по токенам или по типу задачи: «холоднее» на фактах и проверках, «теплее» на творческих фрагментах. Такие методы показывают выигрыш по качеству против любого фиксированного значения.

Как выбирать на практике

Код, SQL, тесты, инструкции: начните с 0–0.3. Если модель «застревает» в повторениях, поднимите до 0.4–0.5.

Суммаризация, деловые ответы: 0.4–0.7, регулируйте по «сухости» текста.

Идеи, слоганы, варианты формулировок: 0.7–1.0, а разнообразие дополнительно контролируйте top_p.

Частые ошибки:

Крутить и temperature, и top_p одновременно — непредсказуемый стиль и сложная отладка.

Пытаться «лечить» плохой промпт одной температурой — сначала чините постановку задачи и формат ответа.

Считать, что высокая температура = «умнее». Это про разнообразие, а не про знания модели.