Автоматизация сравнения прайс-листов Excel: токены и метрики
Сегодня рассмотрим, как мы решили задачу сопоставления позиций из двух каталогов на 22 000 SKU. Менеджеры по закупкам регулярно получают от поставщиков файлы на десятки тысяч позиций. Наименования и артикулы не совпадают с внутренним справочником SKU. Ручное сопоставление в Excel отнимает дни. Инструмент на платформе Интеграм делает это автоматически: 22 000 позиций обработались за 2–3 часа без единой строчки кода.
Как работает сопоставление каталогов? 1. Загрузка Два Excel-файла (ваш SKU и RFP контрагента) распознаются по сохранённому шаблону. Лишней подготовки «шапок» не требуется. 2. Токенизация и единый справочник Названия разбиваются на значимые слова-токены. «HP CF283A картридж» и «HP 83A LaserJet» превращаются в наборы hp, 83a, cf283a, картридж. Служебная мелочь («original», «new») игнорируется. Токены обоих каталогов попадают в общую таблицу. 3. Пересечение через JOIN Поиск общих токенов выполняется обычным SQL-JOIN по этой таблице - никаких внешних поисковых движков не нужно. 4. Метрика схожести Для каждой пары вычисляется оценка: score = общие_токены × покрытие, где покрытие - доля длины совпавших слов относительно полного названия. Так случайные совпадения на коротких предлогах не завышают балл. Формула прозрачна, её можно докручивать в визуальном редакторе: добавлять веса частым и редким токенам, делать маркеры бренда или модели обязательными. Все правки вносятся изменением одного условия, без переиндексации и остановки сервиса. 5. Автоподбор в несколько потоков Интерфейс подсвечивает кандидатов с совпадением по бренду, модели и типу. После настройки запускается фоновая обработка: ~120 сопоставлений в минуту на поток. Итоговая таблица содержит подобранный артикул и альтернативы. Выгрузка - в Excel или через JSON API. 6. Уточнение языковой моделью Нейросеть получает не весь массив, а лишь шорт-лист из 3–5 лучших кандидатов. Это дёшево и быстро убирает последние неоднозначности.
Для каких бизнес-процессов подходит этот инструмент? 1) Закупки и тендеры: быстрый подбор своих артикулов к номенклатуре поставщика. 2) Дистрибьюторы: сведение десятков прайс-листов к единому мастер-справочнику. 3) E-commerce: сверка товарных фидов с опубликованным каталогом. Весь инструмент построен в визуальном конструкторе Интеграм. Настройка, выполнение и выгрузка результата занимают часы и не требуют программистов. Попробуйте протестировать на своих двух самых проблемных файлах — высвободите дни рутины. Ссылку для тестирования спрашивайте в личных сообщениях. Коллеги, если у вас есть на примете, кому может быть интересно это решение, пожалуйста, поделитесь ссылкой на эту статью. + 100500 в карму сразу!
· 06.07
Хороший кейс: здесь важен не сам ML, а дисциплина признаков, метрик и порогов. Когда сравнение SKU держится на токенах и score, главное потом не потерять контроль над false positives и разбором спорных совпадений. Вы делали ручной review на хвосте?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён