Microsoft добавила в Bot Analytics метрику AI Scrape-to-Referral Ratio, сколько раз ИИ-оператор проскрапил сайт на один переход живого человека. На скриншоте из анонса 6 000 : 1 при 41 переходе

— Есть разбивка по операторам: видно, кто возвращает трафик, а кто только парсит контент — Метрика считается по корректно замэпленным доменам- защита от рассинхрона с CDN — Из карточки реферала можно провалиться в записи сессий: скроллят ли пришедшие, доходят ли до формы

А у нас Трафик из «Алисы AI» в российский онлайн-ретейл вырос в 4,6 раза с начала года (Data Insight). Метрика и GA4 ИИ-краулеров не видят, большинство ботов не исполняет JavaScript. Остаются логи, серверные и CDN. Фильтр по user-agent (YandexAdditionalBot, GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и т.д.) и сверка с реальными переходами

Что делать Посчитать свое соотношение «парсинг : переходы» по каждому оператору. Это основа для раздельного robots.txt вместо блокировки всех подряд

Источник: clarity.microsoft.com/blog/scrape-to-referral-insights/ Data Insight (через Forbes, июль 2026)