Смена парадигмы взаимодействия с машиной (2/3)

И вот случилось невероятное! Появились нейронные сети, на самом деле нет —изобрели архитектуры трансформеров, которая произвела революцию, появился "слой внимания", что позволило нейронным сетям лучше "понимать" значение слов (научная статья Attention Is All You Need 2017-го года).

Базово, внимание работает следующим образом (чтобы было не так душно я буду упрощать), нейронная сеть представляет внутри каждое слово в виде многомерного вектора. При этом, на слова, которые стоят в предложении сильное влияние оказывают слова-соседи по предложению (а иногда и всему тексту).

Например: слово "замок", имеет определенное значение (прямо сейчас представьте себе это слово, визуализируйте у себя в голове). А теперь представьте его в окружении еще одного слова: "амбарный замок", представили? Как сильно оно изменилось, какие свойства к нему добавились? А теперь в предложении: "На ржавом заброшенном ангаре висел амбарный замок". (О том, как эти математически работает настоятельно советую посмотреть вот эту серию видосов, и конкретно этот)

Как вы заметили из примера, соседние слова могут "уточнять" значение, передавая свое значение соседнему слову. Одни слова могут драматически менять значения, другие вовсе не влиять на соседние слова. За выявление этих закономерностей и связь смыслов по тексту отвечают "слои внимания". Есть еще такая шутка, которая очень хорошо описывает как это работает, в виде шуточного уравнения: "король" - "мужчина" + "женщина" = "королева".

И именно благодаря этой механике у нас модели умненькие, могут прекрасно в человеческую речь и при увеличении количества параметров (количества слоев, и сложности векторов) у нас появляется ощущение, что у модели "есть понимание мира". Она не генерирует бездумные ответы, отнюдь.

Внезапно, модель может объяснить физику воздушного шарика в автомобиле, который ускоряется с 0 до 100км в час, решать математические задачи, или спланировать и выполнить покупку белых кроссовок от начала до конца, взяв на себя планирование работы и ее исполнение, пользователю нужно лишь будет проконтролировать, что агент купит то, что хочет пользователь.

В этом посте были ссылки, но мы их удалили по правилам Сетки