Поиск партнёров для бизнеса: отбор компаний и контакты в одной системе

В поиске партнёров основная работа начинается после найденного сайта: выяснить профиль компании, найти контакты, убрать дубли и решить, кому уделить внимание. Эту подготовку я объединил в автоматизированную систему на Python.

Через поисковый сервис SerpApi она получает кандидатов из Google Search и Google Maps. После нормализации данных и удаления повторов сервис обхода сайтов Firecrawl извлекает контакты и текст. AI-классификатор использует эти сведения, чтобы определить категорию компании, оценить релевантность и объяснить отбор.

Я разделил поиск, сбор фактов и принятие решения на отдельные этапы. Ответ AI проверяется библиотекой проверки данных Pydantic; сомнительные записи не попадают в клиентскую выдачу. В Google Sheets поступают компании с контактами, категорией и обоснованием — можно понять, почему каждая оказалась в базе.

Для повторных запусков я добавил локальный реестр, лимиты платных обращений и сохранение этапа обработки. Дубли отсеиваются до обхода сайтов и AI-анализа, а после остановки система продолжает оставшуюся работу.

В тестах я проверил выгрузку и продолжение обработки: оставшийся AI-анализ выполнялся без повторных запросов к поиску и Firecrawl. Финальная стабилизация проекта ещё идёт.

Такая архитектура позволяет пополнять базу частями и контролировать объём платных операций. Сотрудник получает профиль, контакты и обоснование отбора для выбора компаний и подготовки обращения.