Почему нейросети врут и как не попасться на их удочку

Внутри — упражнение на отработку фактчекинга на фактах про котиков

Иногда нейросети глючат: придумывают несуществующие факты, дают ложные советы и источники. Это происходит по трем причинам:

1. Нейросети учатся на данных, а не «понимают» мир. У них нет сознания и критического мышления. Они просто предсказывают, какое слово или ответ лучше всего подходит в контексте, даже если это вымысел.

2. В нейросеть могли подбросить ложные данные. Если модель тренировалась на фейковых новостях или устаревшей информации, она будет повторять эти ложные факты.

3. Вы задаете слишком сложные или неоднозначные запросы. Когда запрос расплывчатый или требует знаний за пределами изученной темы, нейросеть «додумывает» ответ, опираясь на похожие, но нерелевантные данные.

🔎 Как делать фактчекинг

Поэтому нужно обязательно делать фактчекинг. Самый простой вариант — скопировать ответ нейросети и добавить одну из трех команд:

— «Проверь этот ответ на фактические ошибки и исправь неточности».

— «Просканируй свой предыдущий ответ и выдели спорные утверждения».

— «Вернись к пункту X и перепроверь статистику по последним данным».

🐈 Тренируемся на котиках

Открой файл с утверждениями про котиков и выбери то, номер которого совпадает с числом твоего дня рождения.

— Закинь утверждение в нейросеть и добавь запрос: «проверь это утверждение на фактические ошибки и исправь неточности»

— Перешли ответ нейросети в комменты.

Ну что, узнаем всю правду о котиках?

Почему нейросети врут и как не попасться на их удочку | Сетка — новая социальная сеть от hh.ru
repost

1293

input message

напишите коммент

· 02.05

4. На самом деле, у взрослых кошек обычно 30 зубов. У них 12 резцов, 4 клыка, 10 премоляров и 4 моляра. Однако у котят в возрасте до шести месяцев может быть 26 молочных зубов, которые затем заменяются на постоянные. Если у вас есть еще вопросы о кошках или их здоровье, не стесняйтесь спрашивать!

ответить

· 01.05

Некоторые кошки пугаются, когда внезапно замечают огурец. Одна из гипотез связывает это с тем, что вытянутая форма может напоминать змей, но точная причина неизвестна. Вероятно, реакция вызвана скорее неожиданностью, чем самим предметом.»

ответить

еще контент в этом сообществе

еще контент в этом соообществе

войдите, чтобы увидеть

и подписаться на интересных профи

в приложении больше возможностей

пока в веб-версии есть не всё — мы вовсю работаем над ней

сетка — cоциальная сеть для нетворкинга от hh.ru

пересекайтесь с теми, кто повлияет на ваш профессиональный путь