Cloudflare придумал, как заставить AI-компании платить за контент
С 15 сентября Cloudflare заблокирует поисковых роботов, которые делают всё сразу: индексируют контент для интернет-поиска, помогают работать AI-агентам и собирают данные для обучения AI. Блокировка включится по умолчанию на всех сайтах, размещающих рекламу.
Идея в том, чтобы AI-компании честно разделяли сценарии. Поиск — отдельно. Обучение моделей и агентный доступ — отдельно. Сейчас часть краулеров смешивает всё вместе.
Cloudflare уже умеет брать оплату за сканирование сайтов в AI-целях. Скоро издатели смогут получать деньги не только за сам факт сбора данных, но и когда их контент появляется в выдаче AI-сервисов.