ИИ отключает у людей функцию «Я не знаю»: мы уверенно несем бред 🧠💥
Недавно я разбирал исследование, где рассказывал, как очеловечивание скриптов ломает контроль качества: ревьюеры расслабляются, пропускают на 16% больше багов и перекладывают ответственность на железяку.
Исследователи из Европы выкатили еще более жесткую работу (N = 3,132, 5 экспериментов). Они решили проверить, как само присутствие ИИ влияет на базовый метакогнитивный навык человека — способность вовремя сказать «Я не знаю».
Эксперимент поставили красиво: людям задавали сложные и въедливые вопросы по кинематографу, на которые LLM гарантированно генерирует убедительные галлюцинации (на этих вопросах завалились даже GPT-5.5, Claude 4.6 Sonnet и Gemini 3.5 Flash). У участников всегда была возможность отказаться от ответа и просто пропустить вопрос.
Результаты просто катастрофические:
1️⃣ Полная капитуляция перед незнанием В контрольной группе (без ИИ) люди адекватно отказывались отвечать в 36–44% случаев, когда не знали ответа. Как только рядом появлялась кнопка «Спросить ИИ» — доля отказов падала до 1–6%. Наличие под рукой нейронки почти полностью уничтожает готовность человека признать свое неведение.
2️⃣ Иллюзия компетентности Модель выдавала ошибочные ответы, но сформулированные гладко и уверенно. В итоге точность ответов людей упала с 27.5% до 9.2% (в три раза!). При этом уверенность участников в своей правоте выросла почти в 2.5 раза (с 29.6 до 75.9 баллов из 100). Человек сдает абсолютную чушь, но убежден в своей правоте.
3️⃣ Штрафы за ошибки не спасают Ученые пытались лечить это деньгами: ввели финансовые премии за правильные ответы и штрафы за ошибки. Стали ли люди чаще признавать незнание? Практически нет. Финансовые стимулы заставили людей чуть меньше слепо копировать ИИ, но сдвиг в сторону «ответа любой ценой» остался почти неизменным.
4️⃣ Неважно, просили вы подсказку или нет В одном из экспериментов ИИ-ответ выводился автоматически на экране (как сейчас делают поисковики или автокомплит в IDE). Эффект тот же: критический фильтр отключается мгновенно.
Языковые модели по своей природе не умеют признавать незнание — они обучены всегда выдавать гладкий и правдоподобный текст. Люди, постоянно работающие с LLM, подхватывают этот паттерн когнитивной капитуляции. Порог принятия решений снижается: внешне связный ответ модели отключает внутренний сигнал тревоги.
В реальной разработке, аналитике или менеджменте это выглядит так: специалист перестает сомневаться, приносит на прод или ревью галлюцинированный код/конфиг/отчет и с пеной у рта доказывает, что все сделал правильно, даже близко не понимая сути.
Учитесь сомневаться! ☝️
· 30.07
Я и без ИИ так делал и продолжаю)) Границы у аналитической паранойи тоже есть - иногда хочется просто отметиться в тему 🍻😉 Пара уточняющих вопросов и разброс достоверности становится заметным
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён