🤖 OAI-SearchBot пришёл. Ваш сайт к нему готов?
Несколько недель назад в логах серверов у разных владельцев сайтов начал массово появляться новый user-agent — OAI-SearchBot. Это краулер OpenAI, который собирает данные для ChatGPT Search. Не для обучения модели, а именно для поискового индекса. Прямо сейчас он ходит по вашему сайту. Вопрос только в том, что именно он оттуда забирает.
Параллельно рынок GEO наконец начал оформляться институционально. Агентства, которые раньше тихо экспериментировали с видимостью в ChatGPT и Perplexity, сейчас открыто продают это как услугу. Это важный сигнал: спрос стал достаточно устойчивым, чтобы на нём строить бизнес. Значит, те, кто откладывал эту тему «на потом», уже опаздывают.
Что краулеры ИИ-поисковиков ищут на сайте
OAI-SearchBot, Anthropic-AI, PerplexityBot — все они работают по схожей логике, но с одним принципиальным отличием от Googlebot. Классический поисковый бот ищет страницы для ранжирования. ИИ-краулер ищет фрагменты, пригодные для цитирования.
Это меняет всё. Для Googlebot важна страница целиком: метатеги, ссылочный профиль, поведенческие. Для OAI-SearchBot важен конкретный абзац или предложение — то, что можно вставить в ответ без потери смысла. Если у вас нет таких фрагментов, краулер уйдёт с пустыми руками. Сайт проиндексируют, но цитировать не будут.
Я проверял это на нескольких проектах. Страницы с размытыми формулировками вроде «мы предоставляем комплексные решения» в ответах ChatGPT Search не всплывают вообще. Страницы, где есть чёткое утверждение с конкретной цифрой или прямым ответом на вопрос, — появляются регулярно.
Технические настройки, которые нельзя игнорировать
Первое — robots.txt. Это базовый уровень. OAI-SearchBot по умолчанию уважает директивы, но только если вы их явно прописали. Если хотите, чтобы краулер индексировал сайт, убедитесь, что у вас нет случайного запрета через User-agent: *. Многие сайты блокируют всех ботов скопом — и потом удивляются, почему их нет в ИИ-выдаче.
Второе — скорость ответа сервера. ИИ-краулеры менее терпеливы, чем Googlebot. Если страница отдаётся дольше двух секунд, часть из них просто уходит дальше по очереди. Это не мои домыслы — это прослеживается по логам, когда видишь частичные обходы без полной загрузки контента.
Третье — структурированные данные. JSON-LD с разметкой Article, FAQPage, HowTo — это прямой сигнал для ИИ-краулера, что фрагмент предназначен для машинного считывания. Без разметки краулер угадывает структуру сам. Иногда угадывает правильно, чаще — нет.
Что переписать прямо сейчас
Есть несколько типов контента, которые ИИ-краулеры обходят стороной. Тексты без единого утвердительного тезиса — те, где каждое предложение начинается с «возможно» или «в зависимости от ситуации». Страницы, где главный ответ спрятан в середине третьего абзаца. Материалы без дат — краулер не понимает, актуальна ли информация.
Мой рабочий подход сейчас такой: беру ключевые посадочные страницы и прогоняю каждую через один вопрос — «есть ли здесь хотя бы одно предложение, которое ChatGPT может процитировать дословно, не теряя смысл?». Если нет — переписываю первый абзац. Именно первый, потому что краулер чаще всего берёт фрагмент оттуда.
Выводы краткие. OAI-SearchBot уже работает, рынок GEO уже оформился, а значит, разрыв между теми, кто готовит сайты к ИИ-индексации, и теми, кто этого не делает, будет только расти. Проверьте robots.txt, добавьте JSON-LD на ключевые страницы, перепишите размытые вводные абзацы. Это не большой проект — это несколько часов работы, которые дают ощутимый результат уже через две-три недели.
