Вчера ИИ советовал твой бизнес, а сегодня про него забыл Нейросети каждый раз выдают новый список компаний, хотя пользователь задает один и тот же вопрос😈

В исследовании SparkToro решили проверить, насколько похожие ответы дает ИИ про разные компании. Для этого 600 человек 3000 раз прикинулись типичными покупателями и отправились в ChatGPT, Claude и Google AI. Они спрашивали, какой сервис или товар выбрать в конкретной категории. Итог удивил: нейросети каждый раз давали новый ответ, даже когда люди писали один и тот же вопрос слово в слово. Причем если спросить один и тот же вопрос 100 раз подряд, то от силы один раз получишь два полностью одинаковых списка компаний.

Почему так происходит?

Обычный поисковик просто выдает список сайтов по ключевым словам, а нейросеть работает как вероятностная лотерея: каждый раз заново вытягивает разное число брендов (то 3, то 10) и тасует их порядок.

Плюс смотрит, о чем человек спрашивал раньше, где находится, и придумывает несколько уточняющих запросов. Поэтому ты можешь открыть ChatGPT, увидеть свою компанию на первом месте и порадоваться, а реальному клиенту в ту же минуту покажут только твоих конкурентов.

На Хабре разобрали еще один показательный случай уже для нашего бизнеса. Автор 45 раз просил ChatGPT, Perplexity и Алису посоветовать CRM-систему для компании в России, но каждый раз менял подводку к вопросу. Когда спрашивал в лоб в пустом чате, модели выдавали стандартный набор лидеров рынка во главе с Битрикс24. Но стоило сначала описать ситуацию бизнеса (у нас отдел продаж на 8 человек и не хотим долгого внедрения), как половина списка тут же поменялась.

А дальше автор проверил еще одну гипотезу. Перед вопросом он уточнял: "Коллега упоминал систему X, но я ничего о ней не знаю и хочу посмотреть рынок шире". В итоге все три нейросети послушно включили эту редкую систему в финальный список лучших, а ChatGPT во всех попытках поставил ее на первое место выше лидеров рынка😈 То есть модель цепляется за любое название из разговора и старается подыграть собеседнику.

Судя по экспериментам, можно сделать шпаргалку, как проверять свою компанию в ИИ и не обмануть самого себя:

• Проверяй только в новом чате без истории. Если ты в этом окне уже обсуждал свой проект, модель просто подыграет и выведет твой бренд в топ.

• Задавай вопрос тремя способами, как это делают живые клиенты: в лоб ("какие сервисы выбрать в нише Y"), с описанием задачи ("команда 8 человек без сложного внедрения") и через сравнение с известным конкурентом.

• Не верь одной попытке. Чтобы понять реальную картину, один и тот же вопрос нужно прогнать хотя бы 25 раз и посчитать, в скольких ответах появилась твоя компания.

Короче говоря, выдача в нейросетях - это не застывшая первая строчка в Яндексе или Google, где все видят одно и то же. Поэтому надо устраивать тщательную проверку и задавать больше вопросов.

Это была #ПовесткаСметнева

А ты уже проверял, как ИИ рекомендует твой бизнес?

🌚 Спросил один раз, а теперь решил еще 😈 Мне не нравятся его ответы