Почему нейросети врут и как не попасться на их удочку

В посте — советы, как сделать ответы точнее + упражнение на фактчекинг (на щенках)

Нейросети действительно могут глючить: придумывать несуществующие факты, давать ложные советы и источники. Это происходит по трем причинам:

1. Нейросети учатся на данных, а не «понимают» мир. У них нет сознания и критического мышления. Они просто предсказывают, какое слово или ответ лучше всего подходит в контексте, даже если это вымысел.

2. В нейросеть могли подбросить ложные данные. Если модель тренировалась на фейковых новостях или устаревшей информации, она будет повторять эти ложные факты.

3. Вы задаете слишком сложные или неоднозначные запросы. Когда запрос расплывчатый или требует знаний за пределами изученной темы, нейросеть «додумывает» ответ, опираясь на похожие, но нерелевантные данные.

🙅‍♀️ Как запретить нейросети врать

В начале диалоге отправьте нейросети команду, которая запретит ей додумывать. Скопировать эту команду можно в Google-доке по ссылке. Потом закидывайте основной промпт, чтобы выполнить свою задачу.

🔎 Как делать фактчекинг

Вы получили ответ нейросети — теперь скопируйте его и отправьте обратно с одной из команд:

— «Проверь этот ответ на фактические ошибки и исправь неточности».

— «Просканируй свой предыдущий ответ и выдели спорные утверждения».

— «Вернись к пункту X и перепроверь статистику по последним данным».

🐶 Тренируемся фактчекингу на щенках

Открой файл с утверждениями про собачек и выбери то, номер которого совпадает с числом твоего дня рождения.

— Закинь утверждение в нейросеть и добавь запрос: «проверь это утверждение на фактические ошибки и исправь неточности»

— Перешли ответ нейросети в комменты.

Почему нейросети врут и как не попасться на их удочку | Сетка — социальная сеть от hh.ru