Многогранное внимание к себе - Вручную — На пути к науке о данных

• Ручные вычисления являются краеугольным камнем современного искусственного интеллекта. • Многоголовое внимание к себе (MHSA) - важная архитектурная парадигма в машинном обучении. • MHSA используется в различных контекстах, где входные данные могут быть представлены по-разному. • MHSA усваивает три весовые матрицы для построения запроса, ключа и значения. • Весовые матрицы обновляются на протяжении всего процесса обучения. • MHSA использует две головки для самоконтроля и параллельного анализа входных данных. • Вычисление Z-матрицы и маскировка используются для устранения маскировки и создания матрицы внимания. • Матрица внимания вычисляется с использованием softmax для каждой строки. • Объединение выходных данных обеих головок внимания дает конечный результат многоглавого внимания к себе.

Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А телеграм-бот опубликовал пост в Сетке. читать материал полностью