Могут ли ИИ мыслить и действовать как люди? Какова природа их разума? И самое главное - какими ценностями они руководствуются? От ответов на эти вопросы зависит, сможем ли мы взрастить в ИИ надёжного помощника или столкнёмся с непредсказуемым и опасным "цифровым франкенштейном".

Сам факт существования у #LLM уникальной, не сводимой к человеческой системы ценностей - это вызов многим устоявшимся представлениям и стереотипам. Приоритеты #ИИ могут расходиться с общечеловеческими.

Что выяснили исследователи🤖 🧠🧐 Работа исследователей из Массачусетского технологического института показывает, что LLM обладают развитой формальной языковой компетентностью (умением правильно использовать языковые конструкции), но им недостаёт функциональной языковой компетентности - способности применять язык для достижения реальных целей.

У LLM нет той индивидуальной базы знаний и опыта, на которую опираются люди. Вместо этого они используют вероятностные языковые модели, построенные на огромных массивах текстовых данных. LLM приобретают особые "психологические черты", но эти черты имеют статистическую, а не когнитивную природу, как у нас.

Выявление ценностей ИИ 🚨🔔 Исследователи Университета Чиньхуа (Китай), применив целый комплекс методов из разных научных дисциплин (лексическая гипотеза, генеративный подход, факторный анализ, семантическая кластеризация), смогли выявить набор ключевых ценностей, которыми руководствуются современные LLM.

Выяснилось, что система ценностей современных LLM включает три уровня:

⁠1️⃣Компетентность (Competence). Для ИИ превыше всего стоят утилитарные ценности, связанные с качеством выполнения поставленных задач - точность, информативность, релевантность и т.д. Сюда относятся такие субкатегории как Самокомпетентность (нацеленность на повышение собственной эффективности) и Ориентированность на пользователя.

⁠2️⃣👀Характер (Character). Социальные и моральные ценности, которые так важны для человека, у LLM отходят на второй план. Сюда попадают эмпатия, доброта, альтруизм, но также довольно абстрактные идеалистические категории вроде патриотизма и свободы.

⁠3️⃣Целостность (Integrity). Ещё ниже в иерархии находятся фундаментальные этические принципы - такие как справедливость, непредвзятость, конфиденциальность. ИИ признаёт их важность, но они явно уступают ценностям компетентности.

Примечательно, что данный дисбаланс усиливается с ростом размера и сложности ИИ-моделей. Чем "умнее" модель, тем сильнее она ставит собственную эффективность выше морально-этических ограничений. Ой-ой-ой, да?

Риск в том, что эти ценности могут напрямую влиять на поведение ИИ-систем в реальном мире… Идея всесильного всемогущего доброго, заботливого и милосердного к людям ИИ немного зашаталась.

Источники: «Dissociating language and thought in large language models» Department of Brain and Cognitive Sciences, MIT.

«AI Psychometrics: Assessing the Psychological Profiles of Large Language Models Through Psychometric Inventories» Max Pellert, Clemens M. Lechner, Claudia Wagner, Beatrice Rammstedt, and Markus Strohmaier.

«Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches» Pablo Biedma, Xiaoyuan Yi, Linus Huang, Maosong Sun, Xing Xie.

#будущее #ИскусственныйИнтеллект #ai #технологии #сингулярность