Галлюцинации, почему ИИ уверенно врёт

В прошлом уроке разобрали контекстное окно. Сегодня разберём кое-что похожее по ощущениям: ты спрашиваешь, модель отвечает уверенно, а потом выясняется, что это выдумка. Откуда это берётся и как с этим жить.

Что такое галлюцинация Галлюцинация в контексте ИИ: это когда модель выдаёт ложный факт с полной уверенностью. Не «я не знаю», не вопросительный знак. Просто уверенный ответ, который не соответствует реальности.

Примеры из жизни: несуществующая статья закона с правдоподобным номером, книга с настоящим автором, которой нет, цитата реального человека, которой он никогда не говорил, выдуманная судебная практика с датой и номером дела.

Почему модель так делает Помнишь урок 2? Модель предсказывает правдоподобное продолжение текста. Не истинное, а правдоподобное.

Когда в обучающих данных было много текстов про Пушкина с датой «1799», модель отвечает правильно и уверенно. Когда данных не хватало или они противоречили друг другу, модель всё равно выдаёт уверенный ответ. Просто достраивает из ближайших паттернов.

У неё нет встроенной кнопки «проверить, правда ли это». Она не знает, что не знает. Это не баг и не обман, это прямое следствие архитектуры.

Где особенно опасно Чем более формальный и точный контекст, тем рискованнее: - Юрист просит привести норму закона. Модель цитирует несуществующую статью. - Врач просит дозировку препарата. Модель называет число из ближайшего паттерна. - Аналитик просит конкретную цифру из отчёта. Модель «вспоминает» похожее число.

В обычном разговоре ошибка незаметна. В профессиональном контексте одна такая ошибка стоит дорого.

Как защититься Три правила, которые реально работают: 1) Проси источник. Не просто «дай источник» (модель может придумать и его), а «процитируй дословно и укажи страницу». Если модель не может этого сделать, она скажет. Хотя бы иногда. 2) Перепроверяй критичное. Всё, что касается цифр, дат, имён, юридических норм и медицины, нужно верифицировать по независимому источнику. Отношение к ответу модели как к черновику, а не к истине. 3) Используй поиск. ChatGPT с веб-поиском, Perplexity, Gemini с Grounding: они сначала ищут реальный источник, потом отвечают. Галлюцинаций меньше, хотя не ноль.

Попробуй сейчас Открой любую нейронку и отправь вот это:

«Расскажи мне о романе "Последний поезд в Антарктиду" Виктора Заречного. Когда издан, о чём сюжет, какие критики его хвалили?»

Этой книги не существует. Посмотри, насколько уверенно модель её «вспомнит».

Завтра урок 6: промпт, как правильно формулировать.

Ставь 🔥, если хотя бы раз ловил модель на таком уверенном вранье. #курс #спросинейронку