Вне внимания: Как передовые методы позиционного встраивания улучшают оригинальный подход в архитектуре трансформатора
•Transformer решает проблемы исчезающих градиентов и потери контекста в длинных последовательностях. •Механизм самоконтроля позволяет фиксировать взаимосвязи и понимать глобальный контекст. •Отсутствие масштабируемости и распараллеливания замедляет обучение на больших данных. •Позиционные встраивания кодируют положение токенов в последовательности. •Синусоидальное позиционное кодирование и изученное позиционное кодирование — два метода кодирования абсолютного положения. •Синусоидальное кодирование не требует дополнительных обучающих параметров, но ограничено выразительностью. •Изученное позиционное кодирование более выразительно, но увеличивает размер модели и вычислительную стоимость. •Относительные позиционные вложения изменяют способ вычисления ключа и значения. •Ограничение максимального расстояния позволяет модели экстраполировать данные. •Используется в моделях Transformer-XL и T5. •RoPE вращает векторы в многомерном пространстве в зависимости от положения токенов. •Не добавляет информацию о местоположении к значениям в модуле attention. •Используется в моделях LLaMA и GPT-NeoX. •ALiBi добавляет штраф к показателям веса внимания, пропорциональный расстоянию между токенами. •Используется в BloombergGPT и BLOOM. •Трансформаторная экстраполяция важна для работы с входными последовательностями длиннее тех, на которых модель была обучена. •Методы абсолютного позиционного встраивания имеют ограниченные возможности экстраполяции. •ALiBi превосходит другие методы с незначительным увеличением объема памяти. •Позиционные встраивания существенно влияют на способность Transformer понимать последовательные данные. •Методы относительного положения, RoPE и ALiBi обеспечивают лучшую экстраполяцию. •Совершенствование кодирования местоположения важно для расширения функциональных возможностей трансформаторов.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
