Что теряется, если сохранить только веса модели
Файл с весами хранит текущее состояние нейросети — этого обычно хватает для инференса, то есть готовых предсказаний. Но обучение движется не только весами. Оптимизатор может хранить «инерцию» прошлых градиентов, scheduler — текущий этап изменения learning rate, а mixed-precision training — состояние scaler. Если загрузить лишь веса, обучение запустится, но пойдёт уже по другой траектории.
Поэтому для паузы сохраняют полный checkpoint: веса, состояние оптимизатора, scheduler и номер шага. Для точного повтора нужны также состояния генераторов случайных чисел и sampler. Весы — снимок модели, checkpoint — сохранение всей тренировки.
