Один словарь может работать у языковой модели дважды
Сначала каждый токен превращается в набор чисел — эмбеддинг. Для этого модель берёт нужную строку из большой матрицы: у токена «кот» один вектор, у «енот» — другой.
Когда пора выбрать следующее слово, некоторым моделям не нужна отдельная таблица. Их внутреннее представление сравнивается с теми же векторами, но матрица используется в обратном направлении — транспонируется. Так получаются оценки для всех токенов словаря.
Этот приём называется weight tying, или связыванием весов. Он уменьшает число параметров и связывает «понимание входа» с выбором выхода. Но применяется не во всех архитектурах.
