BERT учился не продолжать фразу, а чинить пропуски

Представьте предложение: «Енот спрятал ключ под [пропуск]». Модель семейства BERT при обучении должна восстановить скрытый фрагмент, учитывая слова и слева, и справа. Это называется masked language modeling — маскированное языковое моделирование.

У генеративных моделей вроде GPT другая базовая задача: предсказывать следующий токен по уже написанным. Поэтому BERT-подобные модели часто используют для классификации, поиска и анализа текста, а GPT-подобные — для его последовательного создания.

«Языковая модель» — не один механизм, а целое семейство разных способов учиться на тексте.

#ИИ #BERT #языковыемодели