Ко мне обратился друг — владелец интернет-магазина Coas, специализирующегося на ресейле одежды с площадки Poizon. Проблема: в магазине около 16 000 товаров с пустыми карточками. У части карточек, кроме картинки, не было никакой информации, у части — непонятные для клиентов китайские надписи, подтянутые с Poizon. Нанимать людей для ручного заполнения долго и дорого. Решение — автоматизировать процесс.

Я разработал ИИ-сервис: на вход подаётся одна картинка и, если повезёт (редко), название товара. На выходе — вся информация для карточки: 1. Бренд 2. Модель 3. Подробное описание 4. Теги (для рекомендательной системы) 5. Цвета 6. Материал 7. Сезон 8. Крой

Сервис состоит из двух модулей: browser AI-агента и LLM-пайплайна. Зачем два? LLM-пайплайн используется для товаров, информацию о которых найти легко — он в разы дешевле и быстрее агента. Агент подключается для «сложных» случаев. Логика такая: по умолчанию все товары идут в пайплайн; если данных недостаточно или они отсутствуют вовсе, товар перенаправляется к AI-агенту, который уж точно найдет всю информацию.

Что делает агент? Коротко: серфит в браузере, используя компьютерное зрение и по данной агенту картинке ищет информацию о товаре, которую в итоге возвращает в структурированном виде.

Пара ключевых фич: Агент умеет видеть. Да, у него имеется Computer Vision. В данном случае это необходимость, ведь на вход агенту отдается обычно только изображение, ну и если повезет - название товара. Следовательно без зрения тут не обойтись. Один из самых подходящих вариантов, решающих проблему, было использование открытых ИИ браузеров, имеющих CV, но есть проблема - они уж очень дороги в использовании, причем за высокую стоимость использования никаких бенефитов вроде точности или скорости поиска я не получил. Решение - создавать собственный модуль CV для агента.

Ранее я упомянул, что агент является полноценным browser агентом. Почему? - Дело в том, что изображения товаров на странице могли находиться где угодно, а не сразу на первой странице на самом верху экрана. В таком случае агент должен был научиться скролить страницы и проваливаться в карточки товаров - и он научился! Я использовал связку LLM + исполнение JS скриптов в консоли запущенной страницы парсера, дабы манипулировать страницей как угодно.

В этом посте я рассказал только про пару из множества фич AI-агента. В следующих постах я вернуться к этой теме и расскажу подробнее про реализацию и про то, в какую сумму обошлась его эксплуатация.

Буду рад увидеть ваши реакции и обсуждения!👇