Нейросети иногда намеренно дают «не совсем правильные» ответы при обучении
В обычной классификации верному классу назначают цель 1, а всем остальным — 0. Label smoothing смягчает эту разметку: например, правильному варианту дают 0,9, а небольшой остаток распределяют между другими.
Это не означает, что учитель сомневается в метке. Такой сигнал не поощряет модель бесконечно увеличивать разрыв между одним классом и остальными. В результате классификатор может меньше цепляться за обучающие примеры и лучше работать на новых данных.
Но это не универсальная приправа: степень сглаживания подбирают на проверочной выборке. Слишком сильное сглаживание сотрёт полезные различия.
