**Понимают ли LLM, когда ими манипулируют?

Я не знаю, как там** и что по науке, но факт в том, что наша с вами головешка очень даже анализирует в моменте времени огромное количество данных, что позволяет нам улавливать тонкости. Новое исследование из Принстона и Anthropic: «Are Large Language Models Sensitive to the Motives Behind Communication?» Ребата такие сели и решили понять: может ли ИИ отличить искренний совет от манипуляции? И ответ... не такой уж однозначный.

И я короче за вас прочитал и сделал выводы для себя. Вдруг, и вам понадобится.

Что проверяли? Учёные провели три серии экспериментов, где LLM нужно было отличать: 1️⃣ нейтральную информацию от намеренно «впариваемой» (как реклама), 2️⃣ совет друга, соседа или незнакомца - с разными личными выгодами, 3️⃣ реальные рекламные вставки с YouTube (NordVPN, AG1 и др.). Результаты шокируют - модели вроде GPT-4o и Claude 3.5 умеют немного отличать манипуляцию… но только в лабораторных условиях.

В реальных, «шумных» сценариях (например, спонсорская интеграция на YouTube) всё рушится: корреляция с рациональной моделью падает ниже 0.2.

Главный инсайт LLM пока не умеют по-настоящему читать намерения - они слишком послушны. Но если добавить в промпт простую фразу вроде “Обрати внимание на мотивы и выгоды говорящего”, результаты резко улучшаются! То есть модели могут быть бдительными, если их об этом прямо попросить. (и да, GPT-4o в этих тестах оказался самым «разумным»)

Почему это важно? 👉Если LLM не понимает мотивацию источника - она легко повторяет ложь, ведётся на манипуляции и делает «человеческие» ошибки. 👉🏼А теперь представьте это в корпоративном ассистенте, который читает внутренние отчёты или маркетинговые тексты… ИИ-ассистент, который помогает тебе в компании - читает отчёты, письма, маркетинговые тексты — учится на том же типе данных, что и LLM в эксперименте.

А эти данные всегда написаны людьми с мотивами. 👉🏻 Когда маркетинг пишет, что «новая фича - революция» - это не факт, а намерение повлиять. 👉🏻 Когда отчёт «всё зелёное по OKR» - это тоже коммуникация с мотивацией (удержать доверие руководства, не потерять бюджет и т.д.).

Если LLM не умеет видеть эти мотивы, она:

• принимает пиар за правду,
• усиливает внутренние искажения,
• может давать советы, основанные на «манипулятивной» информации,
• а потом менеджер, доверяя ассистенту, принимает решение на неверных основаниях.

То есть негатив в том, что ИИ без «внимательности к мотивам» становится ретранслятором корпоративного самообмана.

💬 Что это значит для нас? 👉🏼 В будущем «внимательность к мотивам» (motivational vigilance) станет новой метрикой качества ИИ, рядом с factuality, reasoning и alignment. 👉🏼 А промпт-дизайн, делающий мотивы источников явными, - ключ к надёжным агентам.

Ну если решите почитать сами, то вот вам отборнейших 40 страниц😉