Следим за руками:

• Много-много лет Cloudflare убеждали всех что они за всё хорошее, против всего плохого
• А особенно против скраперов и краулеров сайтов. Ну потому что фу-фу-фу так делать.
• A few hours later...
• Заполучив контроль над трафиком половины интернета, Cloudflare выкатывает свой /crawl ендпоинт, позволяющий одним запросом разложить сайт в маркдаун, извлечь ссылки и разложить по полочкам всё остальное содержимое сайта.

Сначала мы продаём защиту от ботов, а потом мы продаём премиум бота. Гениально!

https://developers.cloudflare.com/changelog/post/2026-03-10-br-crawl-endpoint/