LayerNorm выравнивает не слова, а числа внутри каждого токена
В трансформере токен представлен вектором — набором числовых признаков. После нескольких слоёв одни значения могут стать крупными, а другие почти исчезнуть. Layer Normalization вычисляет среднее и разброс внутри одного такого вектора, центрирует его и приводит значения к удобному масштабу. Затем применяет обучаемые коэффициенты масштаба и сдвига.
Важная деталь: слово не сравнивают с соседями или другими примерами из пакета. Каждый токен нормализуется отдельно. Поэтому LayerNorm не делает смыслы похожими и не исправляет текст — она поддерживает устойчивый числовой сигнал внутри глубокой модели.
