При обучении нейронок для подбора весов часто используется метод градиентного спуска. Существует хайку (не путать с хокку) японского поэта Кобаяси Исса, которое полностью описывает этот метод: «Тихо тихо ползи улитка по склону Фудзи вверх до самых высот.» В этом описании есть только одна неточность — вместо «Фудзи» должно быть «функции». Впрочем, это, вероятго, опечатка, длпущенная при переписывании.  Так вот, представьте, что вы улитка, и вам нужно подняться вверх до самых высот. По научному: «найти экстремум функции». Если б вы были человеком, то могли бы просто посмотреть в какой стороне вершина, но вы улитка и принимаете единственно верное в вашей ситуации решение — ползти по склону вверх. Но куда это «вверх», еще нужно определить. Для этого вы ощупываете вашу дельта- окрестность, считаете в ней градиент функции (по формуле), и определяете в какую сторону он возрастает быстрей всего, то есть в какую сторону склон быстрей всего повышается. В эту сторону вы и ползете. Отползя на некоторое расстояние вы снова повторяете все заново, тихо-тихо, но неотвратимо приближаясь к вершине.  График функции может иметь гораздо более привычных трех измерений, но когда это смущало улиток?