Зачем BERT добавляет к фразе «пустой» токен

Перед текстом в BERT обычно ставят специальный токен [CLS]. Это не слово и не готовое краткое содержание. Проходя через слои self-attention, его внутреннее представление меняется: в нём отражаются связи со всеми токенами фразы. После последнего слоя получившийся вектор удобно передать классификатору — например, чтобы определить тему или тональность текста.

Сам по себе [CLS] ничего не сообщает. Он становится сводным представлением только внутри конкретного текста и после обучения под задачу. Это специально оставленное место, которое модель постепенно заполняет сведениями о всей последовательности.

#ИИ #BERT #трансформеры