Глубокая сеть часто учит не новый ответ, а поправку к старому
Обычный слой получает сигнал x и преобразует его. В residual-блоке есть короткий путь: исходный x проходит дальше напрямую, а сам блок вычисляет добавку F(x). На выходе они складываются: x + F(x).
Если блоку пока нечего улучшать, он может сделать добавку почти нулевой — и не разрушить уже полезный сигнал. При обучении градиент тоже получает более прямой маршрут назад, поэтому глубокую сеть настраивать легче.
Так skip connection — не пропуск работы, а возможность каждому блоку отвечать лишь за свою поправку. На этом принципе построены ResNet и многие современные архитектуры.
