На просторах SEO-сообщества была обнаружена интересная закономерность.

Анализ таблицы показал, что крупные веб-ресурсы всё чаще добавляют в файле robots.txt специальные директивы для краулеров искусственного интеллекта, таких как gptbot, claudebot и другие, вместо использования универсальных правил для всех поисковых роботов.

Информация была получена из обсуждения на платформе Bluesky.