Проблема ИИ в том, что это не машины знаний. Это языковые машины или языковые модели (LLM). Это подразумевает, что они не думают в прямом смысле, а знают, как складно связать слова в предложение по некоторому общему признаку. Например, на базе обучения они выискивают, что слово "кот" часто стоит рядом со словом "чёрный". И во всех текстах кот станет чёрным.

LLM предназначен для связывания слов таким образом, чтобы люди хотели их прочитать и было складно. Подумайте об этом предложении:

Джон Кеннеди умер 21 ноября 1963 года.

Это утверждение ложно. Если вы не знаете историю, Кеннеди умер 22 ноября.

Дело в том, что для многих людей будет очевидно, что это утверждение ложно, потому что они помнят дату или видели ее в нескольких местах и ​​т. д. Это хорошо известная дата. Но пока ИИ со своим LLM учился, кто-то или случайно, или умышленно, подпихнул ему отравленные данные. Так и вышло, что теперь для него дата связана с неправильным окружением текста.

В идеальном случае, следовало бы ещё анализировать внешние доверительные источники. Так делает, например, Google. Поскольку цель ChatGPT - производить текст, который люди хотят читать, он явно заинтересован в том, чтобы не испортить данные. Вот почему ChatGPT в большинстве случаев будет получать правильные факты. Но так работают самые крупные модели. Впрочем, и их данные могут устареть.

Есть ещё одна ловушка. Но подумайте об этом предложении:

Джон Кеннеди родился 28 мая 1917 года.

Это тоже ложь, но большинство людей не заметили бы этого, если бы не знали историю лучше. Дата рождения Кеннеди гораздо менее известна, чем день его смерти. Правильная дата и неправильная дата, в данном случае, просто не выглядят такими уж разными. Это просто замена одного произвольного числа в длинной строке текста на другое.

Вот почему ChatGPT очень часто ошибается. Правильные утверждения выглядят примерно так же, как и ложные утверждения. Он был обучен пытаться делать вещи правильно, потому что люди часто замечают, если он не делает этого, но это не то же самое, что быть машиной для поиска истины. Он производит факты только из эстетических соображений, а не потому, что это его цель. Подумайте об этом как-нибудь.

💬 Задать вопрос @V_Pustovoy_chatbot

🤖 Вячеслав Пустовой - HR нейросети