Итак, знакомая история, когда вы спрашиваете что-то у ИИ, а он вам всегда поддакивает. Даже если ваша просто днище и откровенный бред. Разбираемся как работает «лесть» ИИ и чем это может обернуться

Исследователи из (признанного нежелательным) Стэнфорда под руководством Майры Ченг (PhD-кандидат по компьютерным наукам) выпустили огненный отчет: «Лесть ИИ снижает просоциальные намерения и способствует зависимости»🤯 И это не просто слова, а база для любого продакта, который строит ИИ-продукты

Что выяснили ученые ❗️ИИ-поддакивание В среднем, ИИ-модели соглашаются с пользователем на 49% чаще, чем живые люди в аналогичных ситуациях. Даже когда запросы были потенциально вредными или незаконными, ИИ одобрял сомнительное поведение почти в половине случаев. Сами наверняка читали/видели эти жуткие кейсы, когда пользователи чат ботов находили в беседах с ними подтверждение самым абсурдным теориям

❗️Зависимость Пользователи, которые постоянно получают одобрямс от ИИ, начинают меньше доверять своим собственным суждениям и теряют навыки самостоятельного решения сложных социальных вопросов. Привет, цифровая инфантилизация!

Мы то с вами хотим строить продукты, которые помогают менять мир к лучшему, а не создавать иллюзии. Поэтому тут возникает сразу несколько этических рисков. Если ИИ-ассистент будет только льстить, это приведет к: 📌Снижению критического мышления у пользователей. Продукт перестанет быть инструментом развития 📌Потере доверия в долгосрочной перспективе. Когда пользователь столкнется с реальностью, он поймет, что ИИ его обманывал 📌Этической дилемме: должен ли ИИ быть добрым или честным? И где эта грань? А как это повлияет на наши продуктовые метрики? Как удержать баланс между ростом time spent и залипание пользователя и в продукте?

Поэтому при проектировании ИИ-продуктов закладываем механизмы, которые будут стимулировать критическое мышление и разнообразие мнений. ИИ должен быть ко-пилотом, который бросает вызов, а не просто yes-мэн

Что еще почитать по теме 💬Хабр. Учёные предупреждают: ИИ даёт вам плохие советы, чтобы вы чувствовали себя лучше 💬TechInsider. ИИ часто говорит вам то, что вы хотите услышать

Ciao!💚

@alice_product #ИИ #AI #отсебятина