Обнаружение дубликатов с помощью GenA
• Использование методов LLMs и GenAI может улучшить дедупликацию данных о клиентах. • Современные методы обнаружения и удаления дубликатов записей используют сопоставление сущностей на естественном языке. • Предложенный метод использует большие языковые модели и генеративный искусственный интеллект для идентификации и восстановления дублированных записей. • Повышение точности устранения дублирования данных составляет с 30% до почти 60% при использовании предложенного метода. • Метод состоит из нескольких этапов: создание совпадающих предложений, создание векторов встраивания этих совпадающих предложений и кластеризация. • Эксперименты показали улучшение результатов по сравнению со стандартными методами НЛП. • Предоставляются ресурсы для опробования метода на данных клиентов.
