Раз в пару месяцев кто-нибудь приходит с этим вопросом. Органика выросла, позиции нормальные, а заявок сколько было, столько и осталось. Дальше почти всегда звучит версия про ботов: трафик, мол, ненастоящий.

Версия рабочая, проверить стоит. Только заканчивается проверка обычно не там, где ожидают.

Боты в логах действительно живут

В прошлом году на ботов пришлось 53% всего интернет-трафика: на живых людей осталось 47%. Цифра из Bad Bot Report 2026 от Thales, отчет открыто лежит здесь: https://cpl.thalesgroup.com/resources/application-security/2026-bad-bot-report

В логах коммерческого сайта вы найдете поисковых роботов, SEO-краулеров вроде AhrefsBot и MJ12bot, парсеры конкурентов, которые снимают ваши цены, и AI-краулеров.

Я это знаю с обеих сторон. У меня в агентстве крутится сканер тендеров: находит закупки, качает документацию, вытаскивает текст из PDF, DOCX и архивов. Рядом работает парсер профилей. Оба обходят чужие сайты, так что мои боты сейчас лежат у кого-то в логах, и владелец того сайта думает про меня примерно то же, что вы про Ahrefs.

User-Agent подделывается одной строкой, так что часть «Googlebot» в логах никакой не Googlebot. Проверяется обратным DNS по IP.

Арифметика расстраивает

Допустим, чистка сделана: краулеры выкинуты, остались живые люди. Цифра трафика уменьшится.

Насколько, заранее никто не скажет: у всех по-разному, где-то это десятая часть, где-то больше. Заявок при этом останется ровно столько же, сколько было до чистки. Неделя работы дала честную цифру вместо завышенной, и на этом все.

Сто тысяч живых визитов с информационных запросов и триста заявок с них же означают, что спрос вы привели не покупательский. Человек выяснял, как устроен продукт, до заказа ему далеко. Ни чистка логов, ни рост позиций этого не приблизят.

Что смотреть вместо общей цифры

Разбейте трафик по типу запроса и считайте конверсию по коммерческим отдельно от информационных. Разница обычно в разы, а общая цифра ее прячет. Брендовые уберите вовсе, они растут сами.

Дальше посмотрите, какой сегмент дал рост. Если информационный, все сходится: трафика больше, покупателей столько же.

Третий слой, до которого доходят редко. Аналитика знает про визиты. Логи видят каждый запрос, включая те, что до аналитики не добрались. Деньги лежат в CRM, и только там видно, чем все закончилось. Пока эти источники живут порознь, разговор про эффективность держится на догадках.

Мы поэтому договариваемся на старте, что брендовый и нецелевой трафик в KPI не идет. Разговор неприятный, зато ранний.

robots.txt

После разбора логов появляется соблазн закрыть всех. С Ahrefs, Semrush и MJ12bot так и сделайте, они вам ничего не приносят.

С AI-краулерами это решение стоит дороже. GPTBot и OAI-SearchBot собирают то, что попадает в ответы ИИ, а туда уходит растущая часть спроса. Мы проверяем это отдельным аудитом: кто из них видит сайт и что забирает. Закрыть их ради чистых логов означает уйти из канала, который только формируется.