Как KPMG продают галлюцинации LLM под видом аналитики 🤡

Консалтинг от «Большой четверки» всегда славился умением продавать красиво упакованный воздух задорого. Но теперь они вышли на новый уровень: продают сгенерированный нейросетями воздух, даже не удосужившись его вычитать.

Ребята из GPTZero прогнали через свои алгоритмы свежий отчет KPMG с максимально пафосным названием «Total Experience: Redefining Excellence in the Age of Agentic AI». Отчет должен был стать монументальным трудом о том, как агентный ИИ меняет бизнес-ландшафт.

А стал памятником человеческой лени и профнепригодности.

Что выяснилось после фактчекинга 45 ссылок на источники в отчете: 🔵Реальных и точных ссылок — всего 5. 🔵12 ссылок вообще не поддаются идентификации, это просто набор слов. 🔵Оставшиеся 28 — это то, что исследователи очень метко назвали vibe citations.

Vibe citations — это как вайб-кодинг, только LLM выдумывает не говнокод, а авторов, миксует реальные названия статей с фейковыми датами, или просто галлюцинирует пруфы, которых в природе не существует.

Около половины фактов в отчете — тупо выдуманы. Например: 🔴В отчете на серьезных щах заявляется, что японская железнодорожная компания JR East вовсю использует AI-агентов. Ссылка ведет на пресс-релиз 2019 года (когда об агентном ИИ даже не заикались), в котором ИИ не упоминается вообще ни разу. 🔴Утверждается, что у авиакомпании Emirates есть мобильный чат-бот Sara, который сам меняет билеты. В реальности Sara — это физический робот-ассистент, и менять рейсы он физически не умеет. 🔴Заявляется, что австрийская энергокомпания Verbund использует ИИ-агентов на уровне домохозяйств. Источник? Статья про совершенно другой B2B-стартап, где нет ни слова ни про агентов, ни про домохозяйства.

Механика появления этого мусора очевидна любому, кто работает с LLM. Какой-то аналитик (или целый партнер, лол) закинул в нейросетку промпт что-то вроде: «Найди примеры использования agentic AI в крупном бизнесе для отчета». Нейросетка сделала то, что умеет лучше всего — услужливо нагаллюцинировала правдоподобный булшит, слепив реальные названия брендов с выдуманными достижениями. А «эксперты» из KPMG, не приходя в сознание, скопипастили это в чистовик, сверстали красивую PDF-ку и релизнули в свет.

Самое смешное (и грустное), что этот сгенерированный мусор уже разошелся по профильным медиа. А другие LLM (вроде ChatGPT и Gemini) начали ссылаться на отчет KPMG как на авторитетный источник. Круговорот булшита в природе замкнулся. ♻️

Когда вам в следующий раз будут продавать «глубокую экспертизу и аналитику рынка ИИ» с красивыми графиками — просто держите в голове этот кейс.