Когда отсутствие бренда в ChatGPT - уже не случайность

Частый вопрос в GEO: можно ли верить одному замеру Нельзя. Сегодня ChatGPT назвал бренд, завтра нет. Но если бренд не появляется раз за разом, объяснение "нейросеть просто так ответила" начинает работать всё хуже

Spiralytics недавно выпустил исследование AI Visibility: 1 146 покупательских запросов, 26 брендов - 16 из Филиппин и 10 из США - ChatGPT, Gemini и Perplexity. Один американский бренд они отдельно прогнали 11 раз за пять недель. Среди запросов, где его не было в первом прогоне, 90% оставались без бренда во всех повторных тестах

Если за 10 прогонов бренд не появился ни разу, это ещё не значит, что он не появляется никогда Точная верхняя граница для такой серии на уровне 95% - около 26%. По более грубому правилу трёх получается 30% То есть корректнее сказать так: после 10 нулей подряд мы уже можем предполагать, что реальная частота появления бренда ниже примерно трети. При этом отличить "бренд появляется в 10% случаев" от "бренд не появляется вообще" десяти прогонов недостаточно И ещё одна оговорка: ответы языковой модели нельзя считать идеально независимыми испытаниями. Поэтому это не строгий статистический тест для LLM, а нормальная рабочая ориентировка для диагностики

Я бы здесь считал отдельный показатель - долю устойчивого отсутствия (Persistent Absence Rate)

Берём только коммерческие запросы, где модель вообще называет конкретные бренды и где стабильно появляются конкуренты. Например, 50 сценариев выбора. Каждый прогоняем 10 раз в одинаковых условиях: та же формулировка, та же модель, одинаковый режим поиска, чистая сессия без истории и памяти

Если в 12 сценариях наш бренд не появился ни разу: Persistent Absence Rate = 12 / 50 = 24%

И вот эти 12 запросов я бы разбирал первыми

У Spiralytics встречались случаи, когда модель путала компанию с одноимённым бизнесом, не понимала, чем именно занимается бренд, или сильнее связывала продукт с материнской компанией

У нас похожая история была с Mr Cold: нейросети умудрялись путать бренд кулеров с одноимённым мороженым

Причина может быть и проще: бренд слабо связан с нужной категорией, о нём мало независимых сравнений, не хватает информации о продукте или модели не хватает оснований включить его в короткий список по конкретному сценарию

Общая видимость эти запросы не покажет. Ищите те, где ChatGPT раз за разом собирает нормальный список конкурентов, а вашего бренда там нет