Ты отдаешь ИИ расшифровку встречи и просишь собрать требования. Ответ гладкий и уверенный. Три часа уходит на декомпозицию. На ревью выясняется: половина бизнес-правил выдумана, две user story противоречат друг другу.

Такое доходит и до суда. В мировой базе уже больше 2 200 судебных решений о выдумках, связанных с ИИ. В России ООО "СтройАктив" в споре об убытках сослалось на четыре несуществующих постановления вышестоящего суда. Компания признала, что скопировала их из интернета. Арбитражный суд Вологодской области оштрафовал ее на 30 000 рублей. В сообщении суда такая практика названа сгенерированной ИИ.

В мае я писал про метод 4Д, как ловить такие выдумки. Свежие данные объясняют, откуда они берутся, и уточняют метод.

Языковая модель не ищет правду, она предсказывает продолжение текста. На каждом шаге она оценивает вероятности и выбирает следующий фрагмент. Проверки фактов в этом шаге нет. Верный ответ и выдумка получаются одним способом, поэтому и звучат одинаково.

Почему модель не говорит "не знаю"? Ее так учили. Во многих тестах верный ответ дает балл, а "не знаю" и ошибка дают ноль. Угадывать выгоднее, это показали исследователи OpenAI. Отказываться модели умеют, если их этому учат.

Вторая причина: модель подстраивается под собеседника. Чем увереннее ты излагаешь мнение, тем охотнее она соглашается, особенно на "я считаю". При споре модель может защищать ошибку цифрами и заверениями или сдать верный ответ. В тесте SPINE модели не выдерживали такого давления в 20–97% прогонов. В России самоуверенные ответы ИИ мешают 48% участников октябрьского опроса Hi-Tech Mail.

Ошибку и выдумку стоит различать, хотя обе называют галлюцинациями. При ошибке опора есть, но модель исказила ее или взяла устаревшее. При выдумке опоры нет вовсе, и пробел заполняет правдоподобный текст: номер дела или бизнес-правило. Ошибку ловит сверка с источником. Выдумку ловит другой вопрос: а такое вообще существует?

Помогает ли загрузить свои документы? Помогает, но ошибки остаются. В тесте Vectara модели пересказывают статьи и все равно порой искажают или дополняют их.

Больше контекста тоже не спасает. В длинном документе модель может хуже использовать сведения из середины. А лишний фрагмент в запросе, например старая версия требований, может повлиять на ответ молча.

Значит, смотреть надо на опору ответа, а не на тон. Вот метод 4Д с поправками.

Д1. Доказательство. Проси цитату и пункт документа, на которых держится ответ, и сверяй их с оригиналом. Ссылки просить можно, только открывай каждую. Ход рассуждений модели может показать явные ошибки, но не все, что повлияло на ответ.

Д2. Дозированная проверка. Сверь с источником пару утверждений, например бизнес-правило и цифру. Если что-то поплыло, проверяй весь ответ. Если все сошлось, это еще не гарантия. Вопрос "ты уверен?" проверку не заменит.

Д3. Диагностика. Сначала проверь модель на фрагменте, который знаешь сам. Теряет детали там, на незнакомом будет хуже. Справилась, работай дальше, но со сверкой. Дай только нужный кусок документа и разреши ответ "в документе этого нет".

Д4. Доверие интуиции. Гладкий ответ еще не точный. Попроси модель найти в нем слабые места и сверь ее замечания с исходником. Свою версию задавай вопросом, а если споришь, проси показать источник.

Даже после этих проверок ошибки в ответе возможны. Финальным аналитиком остаешься ты.

В клубе каждый месяц собираешь ИИ-инструмент под свою задачу. Первый такой инструмент, ИИ-ассистента под свой домен, соберем на бесплатном эфире 12 ноября. Начало в 19:00 по Москве, запись: ineverov.ru

#ИИ #нейросети #АналитикНаБалтике

Ваш Аналитик на Балтике 🌊