Ошибку чат-бота замечает примерно каждый четвёртый. Помогают знания, а не стиль.

Исследователи показывали людям ответы чат-бота, которые отличались двумя вещами: насколько гладко они написаны и есть ли в них фактическая ошибка. Гладко пишущий бот казался умнее. Бот, который красиво ошибался, получил примерно такие же оценки, как неуклюжий, но точный. А около трёх четвертей участников ошибку так и не увидели, независимо от стиля.

Реально помогало знание предметной области: кто лучше разбирался в теме, тот чаще ловил неточность.

Очередное подтверждение того, что экспертиза в своей теме и есть фундамент ИИ-грамотности. Но авторы говорят и о более широком навыке: понимать, когда и насколько вообще стоит полагаться на ИИ. Здесь в игру вступают некогнитивные качества: любопытство, терпение, критическое мышление.

Users’ perception of chatbot language fluency and hallucination