scraperai

ScraperAI — это открытый инструмент с поддержкой искусственного интеллекта, предназначенный для упрощения веб-скрейпинга для пользователей любого уровня подготовки.

Он использует крупные языковые модели, такие как ChatGPT, для извлечения данных с веб-страниц.

Ключевые функции включают автоматическое обнаружение данных, определение XPATH, поддержку пагинации и различных типов страниц, а также интеграцию с Selenium и возможность использования пользовательских краулеров.

Дополнительно ScraperAI поддерживает минимизацию HTML и совместим с различными моделями LLM, обеспечивая гибкость в настройке и использовании.

Lang: HTML https://github.com/scraperai/scraperai