Спросил ChatGPT, где остановиться в Суздале на выходные. В списке не оказалось гостевого дома моего знакомого — с отличными отзывами и ценой ниже конкурентов.

Причина: в robots.txt на его сайте стоит запрет для всех ботов, кроме Google и Яндекса. GPTBot и PerplexityBot получают отказ сразу.

По данным Originality.ai, GPTBot уже закрыт на 35,7% сайтов топ-1000 (год назад — 5%), PerplexityBot — на 67%. Крупные издания блокируют осознанно, а малый бизнес обычно даже не знает, что запрет стоит по умолчанию в шаблоне сайта.

Хуже другое: не найдя доступа, нейросеть не признается клиенту, что не смогла зайти. Она либо промолчит про вас в списке, либо ответит по памяти — старой ценой или услугой, которой уже нет.

Проверка — одна минута: откройте свой сайт с /robots.txt в адресной строке. Если видите общий запрет для всех ботов — вы теряете клиентов, которые спросили не вас, а нейросеть.