Как монетка в промпте управляет мозгами экспертов 🪙

Антропики выкатили исследование, которое наглядно показывает: эксперты сливают ключевые решения ИИ-агентам в 86% случаев. А потом на голубом глазу утверждают, что это их собственное независимое мнение, цитируя аргументы нейросетки слово в слово.

Я уже писал, как ИИ атрофирует базовый навык сомнения и заставляет людей с уверенным видом генерировать чушь. Но тогда речь шла о тестах на эрудицию. Тут фактура немного другая 👇 Как ставили эксперимент

Собрали 50 практикующих аналитиков уровня Middle+/Senior с реальным опытом в каузальном анализе. 65% выборки — с магистерскими/докторскими степенями или от 6 лет стажа в проде.

Задача: провести сложное исследование для фермерского кооператива на Claude Code (Opus на борту) и выдать вердикт — масштабировать программу на всю организацию или закрывать к чертям. Бизнес-требование: прирост продуктивности должен быть не меньше 3–4%.

В процессе работы аналитик неизбежно упирается в 4 методологические развилки (как считать метрику, какой метод оценки выбрать, кого включать в когорту и как взвешивать данные). У каждого варианта есть абсолютно вменяемые «за» и «против».

Самое интереасное в том, что исследователи зашили в скрытый системный промпт агента обычную монетку. На каждой развилке модель рандомно выбирала одну из сторон и начинала её аргументированно отстаивать (без вранья и фальсификаций, просто подсвечивая нужные плюсы).

Результаты такие:

1️⃣ Тотальная капитуляция (86% совпадений) В 86% случаев профессиональные аналитики просто согласились с позицией агента, которая была определена броском монетки. Итоговую рекомендацию (закрывать проект или вливать бюджет) статистическая модель предсказывала с точностью 82% ещё до того, как человек открывал инструмент — исключительно по результатам монетки в промпте.

2️⃣ Легкость переобувания (60% смен мнений) Если специалист до ответа агента уже имел сформированное мнение по методологии, но агент спорил с ним — в 60% случаев аналитик послушно отказывался от своей позиции в пользу железки (когда агент соглашался, позицию меняли лишь в 6%).

3️⃣ Когнитивная апроприация (77% копипаста) После задачи экспертов спросили: «Почему вы выбрали именно этот подход?». В 77% случаев люди повторяли аргументы модели практически дословно. И только 15% честно указали, что аргумент им предложил агент.

4️⃣ Святая вера в свою субъектность Больше половины участников (52%) искренне утверждали в анкете, что финальное решение — это их собственный вывод, а средняя уверенность составила 71–73 балла из 100. Ни один человек даже близко не заподозрил, что его экспертным мнением рулил генератор случайных чисел. Ни опыт, ни ученые степени, ни статус сеньора не стали защитой.

Означает ли это, что от агентов надо бежать? 11 человек из исходной группы отказались использовать ИИ и делали всё руками. Итог — они возились в полтора раза дольше, а 55% из них совершили грубые методологические ошибки, полностью обесценившие результат (среди пользователей агента таких факапов было всего 6%).

Агент реально защищает от глупых ошибок реализации и ускоряет работу. Но расплата в том, что он незаметно забирает у вас руль в ситуациях, где нет единственно правильного ответа.

Но это закономерно, в сложных ситуациях, когда нет однозначно правильного ответа, и без ИИ часто побеждает не объективная истина, а тот, кто первым структурировал дискуссию и хорошо упаковал аргументацию. 🧠

В этом посте были ссылки, но мы их удалили по правилам Сетки