Reddit запрещает поисковым системам сканировать сайт, исключение — Google

• Reddit подписал с Google соглашение на сумму 60 миллионов долларов в год о передаче данных. • Это может привести к сокращению количества реферальных ссылок и снижению трафика Reddit, но Reddit решил, что это стоит риска при повышении ценности данных. • Сервис Microsoft Bing перестал сканировать Reddit после обновления файла robots.txt. • Reddit ищет аналогичные предложения в других поисковых системах и ограничивает доступ к поисковым системам, если они не предоставляют их. • Будет интересно посмотреть, последуют ли другие платформы примеру Reddit и будут ли Google и другие компании заключать сделки с данными для сохранения доступа к scraper.

читать материал полностью

Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.