Привет, коллеги). Хочу поделиться одной историей. Недавно клиент пишет: «Сайт работает, сервер отдаёт 200. Почему ChatGPT нас не видит?» Открываю логи GPTBot стучится, а в ответах пустота. Формально всё ок, но фактически сайта для ИИ нет.

Сижу, разбираюсь и понимаю, что это не единичный случай. Такое у половины проектов, с которыми я работаю. Причём владельцы даже не догадываются об этом. В браузере всё открывается, метрика считает визиты, SEO-отчёты зелёные. А ИИ-боты уходят ни с чем.

Давай, разберем почему так бывает.

1️⃣ Захожу с выключенным JS. Белый экран и сервер говорит 200. Но в теле только пустой div. ИИ-боты JS обычно не выполняют. Для них страница пустая. Контент есть, а для бота нет. Весь текст, который ты писал месяцами, все статьи, все описания товаров для ChatGPT это ноль. Он просто не дотягивается до них и это самая частая причина, которую я вижу. Особенно на сайтах, которые делали на React или Vue. Красиво, быстро, современно и невидимо для ИИ. 2️⃣ В браузере всё летает, а curl с User-Agent GPTBot получает 403. Бывает, WAF отдаёт заглушку с кодом 200 и ты думаешь, всё открыто. Но бот видит «доступ запрещён». И самое неприятное, что ты об этом не узнаешь, потому что в логах все чисто и ошибки нет. Я однажды полдня искала, почему Perplexity не цитирует клиента, оказалось Cloudflare резал бота на подходе. А админ клялся, что ничего не блокировал. Вот так. 3️⃣Сама однажды забыла про  robots.txt. Этичный бот читает правила статуса 200 и уходит. Но дальше входа не пускают и это обидно, потому что всё остальное настроено идеально. Чистый HTML, быстрый сервер, хороший контент. А одна строчка в файле перечёркивает всю работу. С тех пор проверяю robots.txt первым делом. До всего остального. 4️⃣ Боты ходят из дата-центров, чаще всего США. Если сайт показывает контент только для РФ или просит авторизацию, бот получает 200 на страницу входа. Для него сайт как бесконечная дверь, он стучится, ему открывают, а там снова дверь. И он уходит. А ты теряешь видимость на международном рынке. Хотя казалось бы, при чём тут ИИ, если у тебя сайт для своих. 5️⃣ Поставила 5 запросов в секунду и бот индексирует быстро. Первые страницы видит. Остальные получают ошибку 429. Уходит и считает сайт нестабильным. А потом в ответах ChatGPT про тебя вообще ничего или того хуже, устаревшая информация с какого-нибудь агрегатора. Потому что твой сайт бот запомнил тебя как ненадёжный.

Рассказываю, как я проверяю⤵️

Беру curl. Меняю User-Agent на GPTBot. Смотрю, что реально приходит. Отключаю JS. Если белый лист, ИИ не прочитает. Проверяю логи. Не только код ответа, но и размер тела. Если ошибка 200, а body пустой, всё плохо. Ещё смотрю robots.txt и настройки WAF. И обязательно проверяю с разных IP. Потому что из офиса может быть одна картина, а из дата-центра совсем другая.

Ещё один момент. Я теперь делаю это до запуска любой кампании. Раньше проверяла после. А потом удивлялась, почему контент не работает. Сейчас в чек-листе это первый пункт. Пока не убедилась, что бот видит сайт, дальше не двигаюсь.

Вывод простой товарищи. Ошибка 200 теперь ничего не гарантирует. Для ИИ важна не формальность, а реальная доступность. Чистый HTML, открытый robots.txt, лояльный WAF. Иначе ты стоишь с табличкой «Открыто» за запертой дверью. Я теперь всегда проверяю это до запуска кампаний. Иначе трафик из ChatGPT, Perplexity  просто проходит мимо.

💎Вот такие дела. Проверь свой сайт.