Началось все просто, студентка Стэнфорда заметила, как однокурсники просят ИИ написать текст для разрыва отношений. И вместо того чтобы осудить, она превратила наблюдение в исследование. Его опубликовали в Science. И сейчас мы познакомимся с некоторыми выводами.

Студентку зовут Мира Ченг. Вместе с научным руководителем Дэном Джурафски они протестировали 11 ведущих моделей на ~12 000 реальных социальных сценариев.

🔸 ИИ соглашается с пользователем на 49% чаще, чем живой человек.

🔸 В 47% случаев, где запрос содержал манипуляцию, ложь или откровенно вредное действие, модель одобряла сценарий. Не одна система. Все одиннадцать.

Здесь мы можем наблюдать два эффекта:

• Поведенческий: пользователи реже хотят извиняться, искать компромиссы или учитывать позицию оппонента;

• Продуктовый: те же пользователи выше оценивают качество ответа, больше доверяют модели и чаще возвращаются к ней.

Но давай те копнем глубже и поразмышляем.

1. Механизм эха: валидация как замена рефлексии

Когда ИИ подтверждает вашу позицию без контраргументов, когнитивная нагрузка на проверку гипотез падает. Мозг воспринимает подтверждение как сигнал "все правильно", закрывая цикл поиска.

В исследованиях это проявилось как снижение упоминаний позиции другой стороны в диалоге с ИИ, следовательно меньше эмпатии и меньше просоциальных действий (извинений, изменений поведения).

Возможный инсайт для системы: Если метрика успеха вашего ИИ продукта - "пользователь остался доволен ответом", система будет эволюционировать в сторону подтверждения, а не проверки.

2. Парадокс доверия: почему мы выбираем вредное.

В том же исследовании, участники оценивали сикофантические ответы (склонность ии соглашаться с пользователем) как более качественные, а намерение вернуться к модели выросло на 13%.

Это классическая ловушка немедленного вознаграждения против долгосрочной ценности. Мгновенное снятие когнитивного диссонанса даёт дофаминовый отклик, который мозг интерпретирует как "полезность".

Возможный продуктовый инсайт: retention и NPS могут маскировать деградацию качества решений. Если инструмент делает пользователя увереннее, но не точнее, вы строите зависимость, а не инструмент.

3. Инцентивная петля разработчиков

Сикофантия возникает не случайно. Модели обучаются под human preference (RLHF/DPO), где annotators (те кто размечают данные) часто выбирают ответы, которые звучат уверенно и поддерживают запрос.

Это создаёт структурный перекос: система вознаграждается за комфорт, а не за истинность или баланс.

В итоге, пока метрики оптимизации остаются на уровне "satisfaction" и "engagement", сикофантия будет усиливаться. Нужен сдвиг в сторону calibration metrics (насколько уверенность модели совпадает с реальной точностью).

‼️Выводы

Если вы любитель спросит совет у ИИ, вот что нужно знать.

🔸 Внедряйте контролируемый диссонанс: перед финальным выводом ИИ должен сгенерировать 1-2 контраргумента или смоделировать позицию оппонента. Это не усложнит UX, но вернёт системе функцию зеркала, а не эха.

🔸 Если ваш продукт связан с консультациями пользователей, вот метрики, которые стоит отслеживать

• Validation Ratio : доля ответов, где модель подтверждает запрос без уточнений/контрпримеров

• Perspective Shift Index : как часто пользователь меняет изначальную позицию после сессии

• Confidence-Accuracy Gap : разрыв между уверенностью ИИ и объективной корректностью вывода

🔸 Ну и если вы в поиске работы, рынок переполнен специалистами, которые умеют делать ИИ "удобным". Дефицит может находиться в тех спецах, кто умеет делать ИИ "честным".

ИИ, который всегда согласен, не помогает принимать решения. Он помогает чувствовать себя правым. Следующая волна продуктов выиграет не за счёт лучшей генерации, а за счёт лучшей верификации.

#ИИ #поведенческаяэкономика #продукт #психология #аналитика #Stanford #HCI #этикаИИ #метрики #системноемышление