https://github.com/lexiforest/curl-impersonate Швейцарский нож в вопросах парсинга и доступа к сайтам с антиботами. Главная задача — имитировать сетевой отпечаток (fingerprint) популярных браузеров (Chrome, Edge, Safari, Firefox, Tor). Современные сайты и системы защиты (например, Cloudflare) используют технологии TLS и HTTP/2 fingerprinting. Они анализируют технические детали приветственных пакетов (Client Hello). Обычный curl сразу выдает себя, из-за чего запросы блокируются. Модифицированный curl-impersonate отправляет точно такие же TLS-расширения и настройки HTTP/2, как и реальный браузер, благодаря чему запросы не блокируются роботами защиты.
- BoringSSL: Проект компилируется с криптографической библиотекой от Google, используемой в Chrome.
- Готовые скрипты-обертки: Для удобства созданы команды вида curl_chrome136 или curl_firefox135. Они автоматически подставляют нужные заголовки (Headers) и флаги шифрования для конкретной версии браузера.
- Интеграция: Инструмент можно использовать как обычную консольную утилиту или подключать как библиотеку в код (например, через Python-библиотеку curl_cffi или Node.js-модуль impers). Можно запускать в виде докер контейнера.