Чёт в последнее время я как-то случайно погрузился в тему, как нейронки читают страницы в интернетах — ну про все эти llms.txt и прочее. Из практики — делают тупой фетч и всё :) На этом успокаиваются.

И обсуждали мы тут давеча в чате Reader UI новый (мы так называем тот интерфейс, через что клиенты видят документацию в итоге — ну короче "смотрелку", "сайт" документации). Мы ж не так давно (ну как, полгода уже...) в продукте переписали его полностью, и теперь "читалка" документации у наших клиентов не легаси из нулевых, а модный-быстрый React и вот это всё.

А старый наш Reader UI как раз исторически не сильно дружил с роботами из-за того, что построен на хэшбенгах — там какая-то хитрая заруба с тем как рендерится страница скриптами — я сильно не вникал, но кароч суть в том, что условно со старым Reader UI ты вместо превьюшки в соцсетях видел шиш — ну пушто краулеры тупо не могли получить контент, они упирались именно в "разводящую" страницу.

Так воооот... Дал я короче агенту (ChatGPT Desktop в режиме Codex) ссылку на портал с доками с новым Reader UI, и отдельно -- со старым. В первом случае простой фетч, ожидаемо, сработал, вернув результат за 13 секунд. Во втором случае бедняга пошёл поднимать встроенный браузер, потому что фетч вернул ему "Loading". Справился в итоге? Справился. Но за полторы минуты.

Ну и накатал короче по мотивам статью: The most important thing about AI-ready docs is the most boring one.

Вывод там простой — самая важная вещь про "ai-friendly" сайты документации щас достаточно скучная — это не какие-то хайповые штуки типа llms.txt или ещё чёт такое, сколько архитектура, которую базово заложили в этот самый сайт.