Построение ограниченных предложений с использованием выборки Гиббса и BERT

• Крупные языковые модели, такие как GPT, достигают хороших результатов в создании текста в свободной форме, но ограничены в генерации ограниченного текста. • Генерация ограниченного текста включает создание предложений с определенными атрибутами, такими как настроение, время, шаблон или стиль. • Генерация на основе ключевых слов является одним из видов ограниченного текста. • Модели авторегрессивной прямой генерации, такие как GPT, испытывают трудности с генерацией ограниченного текста. • Альтернативный подход к генерации ограниченного текста - итеративное построение предложения с использованием элементарных операций над существующей последовательностью. • Ограничение пространства поиска с помощью дифференцируемой функции потерь или предварительно обученной нейронной сети может улучшить генерацию ограниченного текста. • Новый подход к созданию предложений с заданными ключевыми словами заключается в ограничении пространства поиска, начиная с правильного предложения и сокращая набор возможных операций. • Выборка Гиббса из BERT может использоваться для генерации предложений с заданными ключевыми словами.

читать материал полностью

Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.