Два правильных ответа могут стоить модели по-разному
Классификатор A увидел кота и дал классу «кот» 51%, классификатор B — 99%. Оба выбрали верный класс, поэтому для accuracy их ответы одинаковы: по одному попаданию.
Но cross-entropy учитывает не только победивший вариант, а вероятность правильного. Уверенное верное предсказание получает меньшую ошибку. А если на снимке была собака, ошибочные 99% на «кота» будут наказаны гораздо сильнее, чем 51%.
Поэтому loss может заметно меняться, пока accuracy стоит на месте. Первая метрика видит степень уверенности, вторая — только итогового победителя. При обучении полезно смотреть на обе.