У трансформера нет врождённого чувства «слева направо» 🧭
«Кот догоняет енота» и «Енот догоняет кота» состоят из тех же слов, но описывают разные события. Базовая операция self-attention сравнивает токены по содержанию, однако сама по себе не знает, какой из них стоял первым, а какой — третьим.
Поэтому модели передают отдельный позиционный сигнал. В современных LLM для этого часто используют RoPE: положение токена влияет на поворот его числового представления. Благодаря этому модель учитывает не только сами слова, но и их порядок и расстояние между ними.
Позиция слова для ИИ — не мелкая деталь оформления, а часть смысла, встроенная в архитектуру.
