Увидел на одном их каналов Scrapling ...

Scrapling — это адаптивный фреймворк для веб-скрейпинга, который позволяет выполнять любые задачи от одного запроса до полномасштабного сканирования.

Парсер анализирует изменения на веб-сайтах и автоматически перемещает ваши элементы при обновлении страниц. Его средства обхода систем защиты от ботов, таких как Cloudflare Turnstile, встроены в систему. А фреймворк для создания поисковых роботов позволяет масштабировать параллельное многосессионное сканирование с возможностью приостановки и возобновления, а также автоматической сменой прокси и все это в несколько строк кода на Python. Одна библиотека — никаких компромиссов. Сверхбыстрая парсинг-парковка со статистикой в реальном времени и потоковой передачей. Создано веб-скрейперами для веб-скрейперов и обычных пользователей каждый найдет что-то для себя.

Spiders — полноценная платформа для сканирования 🕷Spider API в стиле Scrapy: определяйте пауков с помощью start_urls, асинхронных parse обратных вызовов и объектов Request/Response . ⚡️**Параллельное сканирование: настраиваемые ограничения на одновременное сканирование, регулирование для каждого домена и задержки при загрузке. 🔄**Поддержка нескольких сеансов: унифицированный интерфейс для HTTP-запросов и незаметные безголовые браузеры в одном пауке — маршрутизация запросов к разным сеансам по идентификатору. 💾 Пауза и возобновление: сохранение результатов сканирования на основе контрольных точек. Нажмите Ctrl+C, чтобы корректно завершить работу, и перезапустите ее, чтобы продолжить с того места, на котором вы остановились. 📡 Режим потоковой передачи: потоковая передача извлеченных элементов по мере их поступления через async for item in spider.stream**() со статистикой в реальном времени — идеально подходит для пользовательского интерфейса, конвейеров и длительных сканирований. 🛡 *Обнаружение заблокированных запросов: автоматическое обнаружение и повторная отправка заблокированных запросов с настраиваемой логикой. 📦 Встроенный экспорт: экспортируйте результаты с помощью хуков и собственного пайплайна или встроенного JSON/JSONL с помощью result.items.to_json() / result.items.to_jsonl() соответственно. Расширенная загрузка веб-сайтов с поддержкой сессий HTTP-запросы: быстрые и незаметные HTTP-запросы с использованием класса Fetcher . Может имитировать TLS-отпечаток браузера, заголовки и использовать HTTP/3.

Динамическая загрузка: загрузка динамических веб-сайтов с полной автоматизацией браузера с помощью класса DynamicFetcher, поддерживающего Playwright, Chromium и Google Chrome. Обход защиты от ботов: расширенные возможности скрытия с помощью StealthyFetcher и подмены отпечатков пальцев. Позволяет легко обходить все типы турникетов и межстраничных объявлений Cloudflare с помощью автоматизации. Управление сессиями: поддержка постоянных сессий с помощью классов FetcherSession, StealthySession, и DynamicSession для управления файлами cookie и состоянием при выполнении запросов.* Ротация прокси: встроенная ProxyRotator функция с циклической или пользовательской стратегией ротации для всех типов сеансов, а также возможность переопределения прокси для каждого запроса. Блокировка доменов: блокировка запросов к определённых доменам (и их поддоменам) в браузерных загрузчиках. Поддержка асинхронной загрузки: полная поддержка асинхронной загрузки во всех загрузчиках и специализированных классах асинхронных сессий. Адаптивный парсинг и интеграция с искусственным интеллектом

🔄Умное отслеживание элементов: перемещение элементов после внесения изменений на сайте с помощью интеллектуальных алгоритмов сопоставления. 🎯 Умная гибкая система выбора: CSS-селекторы, XPath-селекторы, поиск по фильтрам, текстовый поиск, поиск по регулярным выражениям и многое другое. 🔍 Найти похожие элементы: автоматическое определение элементов, похожих на найденные. 🤖 MCP-сервер для использования с искусственным интеллектом: встроенный MCP-сервер для веб-скрейпинга и извлечения данных с помощью искусственного интеллекта. MCP-сервер обладает мощными настраиваемыми функциями, которые позволяют использовать