🕸️ Когда Codex «гуглит», он реально заходит на каждый сайт?

Вчера я советовал сделать сайт agent-friendly через Ora. Но сам до конца не понимал, что именно там надо оптимизировать.

В моей голове это работало так: я прошу Codex что-то найти → OpenAI дёргает Google или Bing → какой-то crawler в realtime идёт по сайтам.

1. Как ищет сам Codex

Codex не достаёт свежий интернет из весов модели. Он вызывает отдельный web search tool.

В локальном Codex по умолчанию используется cached search по индексу OpenAI. Ещё есть indexed и live: в live-режиме поиск может открыть актуальную страницу прямо во время задачи. Но это не значит, что он синхронно заходит на каждый сайт.

2. Кто тогда заранее ходит по сайтам

У OpenAI есть несколько разных ботов:

• OAI-SearchBot собирает страницы для ChatGPT Search • ChatGPT-User может открыть страницу по конкретной просьбе человека • GPTBot отвечает за потенциальное использование контента для обучения

Можно разрешить поиск и отдельно запретить обучение.

3. А Google или Bing?

OpenAI публично не пишет, какой именно внешний поисковик стоит под капотом Codex и чем конкретно наполняется cached index. Поэтому рассказы в духе «оно точно всегда ходит через Bing» пока додумывание.

so what? ⚡️ твой будущий клиент может вообще не открыть сайт сам. Он попросит своего агента найти API, сравнить сервисы и выбрать, что купить. Если агент не нашёл страницу, не вытащил цену или не понял, куда нажимать, ты можешь не попасть даже в shortlist. 🧩 @danokhlopkov

В этом посте были ссылки, но мы их удалили по правилам Сетки