Защита от ботов будет в перспективе все более востребованным сервисом. Вот, опять, наш проект poisk.im долбят плохие парни :) со всех стран мира (прокси). Зачем? А я не знаю, просто парсят контент, хотя у нас частично под авторизацией.
Цитирую нашего спеца:
"Привет всем. Вчера вечером сработал алерт - сервер был под нагрузкой. Была полная жесть по парсингу и BunkerWeb (штука, которую я поставил для фильтрации) перестал справляться с наплывом ботов. Со всего мира долбились, 600к запросов за полдня и памяти для списка забаненых IP не хватило.
Я это к чему говорю. Переделал правила фильтрации, чтобы на более низком уровне отбивать запросы с "/" в accept, но по возможности уделите 5 минут и покликайте по сайту, пожалуйста, а то вдруг я слишком жесткую фильтрацию сделал, могут баниться обычные посещения."
tg / max
В этом посте были ссылки, но мы их удалили по правилам Сетки