Как бороться с AI-скрейперами? Реальные кейсы и хитрости
AI-компании вроде Anthropic и OpenAI активно сканируют сайты, создавая нагрузку до 10 запросов в секунду. Блокировка IP-адресов помогает лишь временно, ведь источники запросов постоянно меняются.
Один из необычных подходов — отдавать скрейперам версии страниц с минимальным JS и CSS, но с максимально длинным текстовым контентом. Это экономит ресурсы и может улучшить SEO, ведь поисковики любят текст.
Ключевой инсайт: вместо блокировки попробуйте оптимизировать контент под AI-скрейперы. Это может стать новым уровнем взаимодействия с технологиями, которые постепенно заменяют традиционные поисковые системы.
