webclaw

Это инструмент для извлечения веб-контента, предназначенный для использования с большими языковыми моделями (LLM).

Он позволяет выполнять скрейпинг, краулинг и извлечение структурированных данных, обеспечивая эффективную обработку веб-страниц.

Программа написана на языке Rust, что гарантирует высокую производительность и безопасность.

webclaw предоставляет интерфейсы командной строки (CLI), REST API и MCP-сервер для гибкой интеграции в различные рабочие процессы.

Lang: Rust https://github.com/0xMassi/webclaw