Модель иногда начинают обучать «вполсилы» — намеренно
Learning rate определяет, насколько сильно меняются веса нейросети за один шаг. Кажется логичным сразу выставить рабочее значение, но первые обновления могут оказаться слишком резкими: модель ещё не освоилась с данными, а у адаптивного оптимизатора пока мало истории для оценки градиентов.
Поэтому используют warmup: начинают с маленького learning rate и в течение первых шагов плавно повышают его до основного. Это снижает риск скачков функции ошибки и нестабильного старта.
Warmup не исправляет плохие данные и не заменяет подбор скорости обучения. Он лишь помогает модели набрать темп, прежде чем делать большие шаги.
· вчера
По какому признаку вы выбираете длительность warmup в эксперименте: задаёте долю от общего числа шагов или смотрите на поведение loss и градиентов в начале? Было бы интересно увидеть рядом два запуска с одинаковыми данными и итоговым learning rate, чтобы отделить эффект разогрева от остальных настроек.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён