Нейросеть тренируют, временно выключая её части 💡
Dropout — слой, который на каждом шаге обучения случайно зануляет часть активаций. На одном примере пропадают одни сигналы, на следующем — другие. Так сеть сложнее приучить к единственному «удобному» маршруту: ей приходится распределять полезные признаки между разными участками. Это помогает бороться с переобучением.
При обычном использовании модели dropout отключают. Если по ошибке оставить режим обучения во время проверки, одинаковый вход может давать немного разные результаты. Это не внезапная креативность нейросети, а забытый переключатель режима.
