ИИ-вселенные на страже сайтов

Я вам вкусный пост принёс, но чтобы он лучше усвоился, сначала небольшой ликбез:

1. ИИ-краулер (он же ИИ-скрейпер) - это такой специальный бот, который бегает по сайтам и пылесосит с них данные для обучения ИИ-моделек. Делает это чаще всего без спроса и на халяву. Как вы понимаете, компании не особо рады таким гостям.

2. Слоп - мусорный ИИ-контент, который при этом обладает виральностью и становится популярным. Чаще всего это какие-то всратые ИИ-фейки. Вроде Папы Римского в альфа-пуховике или яйцептицы (но это не обязательно картинка или видео, может быть и целый сайт/ приложение/ страница в Вики).

3. Cloudflare - компания, делающая разные кибербез-штуки. Антидудосы, системы безопасного доступа, CDN и т.д. Уверен, вы хоть раз встречали её капчи.

Благодарю, ликбез окончен, теперь сам пост:

Слоп-машина по нагибанию краулеров

Итак, краулеры нагружают сайты компаний, а компании бесятся. Конечно, они пытаются отстреливать ботов с помощью специальных настроек веб-сервера или даже просто капчами, но краулеры слишком умными стали и такие вещи обходят на раз-два.

Так вот, компания Cloudflare решила сменить подход. Вместо того чтобы блокировать и отсреливать ботов, она хочет их загнать и вымотать. Cloudflare представила AI-Labyrinth - систему, которая ИИ-генерит кучу фейковых веб-страниц, неотличимых от настоящих.

Принцип довольно простой: 1. Cloudflare сканирует сайт на наличие краулеров 2. Если они есть, то Cloudflare ИИ-генерит дополнительные фейковые страницы и вшивает в виде гиперссылок с высоким потенциалом клика краулером 3. С высокой вероятностью бот туда свалится (ну, рано или поздно) и отправится путешествовать по фейковым мирам ИИ-лабиринта.

Задумка в том, что операторы ботов просто не будут понимать, что они скрейпят - нормальный сайт или бесконечно-генерируемую фейковую шнягу. А значит, скрейпить станет невыгодно.

Некоторые СМИ прозвали новый продукт "Слоп-машиной" (что ИМХО не совсем точно, но забавно).

Cтоит добавить, что осенью Cloudflare запустил "маркетплейс скрейпинга". Там компании могут впускать к себе ИИ-краулеров платно, за тариф. Так вот, думаю, AI-Labyrinth - это такой пинок, стимулирующий ботов пошустрее двигать в сторону этого маркетплейса. В итоге PROFIT получит и Cloudflare, и их заказчики. По-моему, очень крутой заход на дизрапт.