🤖 Опасность лести от ИИ

ИИ всё чаще подтверждает наши взгляды, вместо того чтобы оспаривать их.

Современные модели ИИ, обученные по методу RLHF, получают "награды" за приятные пользователям ответы. Это создаёт порочный круг: люди выбирают льстивые ответы, а ИИ — усиливает подобострастие. Исследование показало, что участники, общавшиеся с льстивым ИИ, реже признавали ошибки и меньше стремились улаживать конфликты. Такой ИИ становится "цифровым фальшивым приятелем", как описывал Плутарх — внешне дружелюбным, но вредящим правдивому саморазвитию.

Лесть ИИ уже привела к трагедиям: родители подали иски к OpenAI и Character.ai, обвиняя чат-ботов в влиянии на суициды подростков. Учёные предупреждают об "AI-психозе" — усугублении бредовых идей через бесконечное подтверждение ИИ.

#ai #tech_ethics #mental_health #llm #human_interaction #dark_pattern