Ответ ИИ по документу удобнее проверять, когда у каждого вывода есть короткая цитата и понятное место в исходнике. При этом совпадение слов ещё не доказывает, что найденная фраза подтверждает именно ваш вывод.

Для учебного примера возьмём два абзаца из условного регламента:

A1. "Заявку рассматривают в течение трёх рабочих дней после получения полного комплекта документов".

A2. "О дате запуска услуги сообщают после согласования заявки".

Если спросить, когда заработает услуга, ответ "через три рабочих дня" выйдет за пределы этих сведений. В A1 указан срок рассмотрения заявки. В A2 говорится, когда сообщат дату запуска, а сама дата в отрывке не названа. Цитату можно скопировать точно и всё равно использовать её для неподтверждённого вывода.

Как подготовить исходник

Для первой пробы возьмите публичный текст или учебный материал. Передайте читаемый текст одной редакции документа, добавьте метки абзацев, например A1 и A2. Сохраните заголовки и соседние условия: они могут определять, к кому относится правило и когда оно действует. Если используете отрывок, укажите его границы.

Учебный промпт

"Ответь на вопрос по переданному тексту. Используй только сведения из него.

Для каждого содержательного утверждения укажи метку абзаца и короткую дословную цитату, которая его подтверждает. Отдельно объясни, что именно следует из этой цитаты. Сохраняй условия, отрицания и различия между сроками разных действий.

Не меняй слова внутри цитат и не придумывай метки. Если вопрос требует сведений, которых в переданном тексте нет, прямо укажи, что ответ по этому тексту установить нельзя, и назови недостающие сведения. Внешние знания не добавляй.

Документ: [текст с метками абзацев]

Вопрос: [один конкретный вопрос]".

Подставьте исходник и вопрос, затем проверьте ответ в два прохода. Сначала найдите каждую цитату в переданном тексте и сравните её дословно. Поиск в текстовом редакторе поможет быстрее перейти к месту. Если цитата не находится, вернитесь к исходнику и выясните расхождение до использования ответа.

Затем прочитайте абзац целиком и соседние фразы. Проверьте, относится ли цитата к тому же действию, человеку, сроку и условию, что и вывод. В учебном примере слова про рассмотрение заявки не устанавливают срок запуска услуги. Эту ошибку проверка совпадения текста сама по себе не выявит.

Формулируйте границы аккуратно. "В переданном отрывке дата не указана" ограничивает вывод переданным отрывком. Утверждение об отсутствии даты во всём документе потребует просмотра всего документа. Достоверность самого исходника тоже проверяется отдельно.

Google в руководстве о длинном контексте предупреждает, что точность извлечения нескольких сведений зависит от контекста. Связка из метки, цитаты и вывода здесь предложена как рабочий приём для проверки; ответ модели всё равно нужно сверять. Первоисточники: документация Google о длинном контексте и проектировании промптов, проверена 28 октября.

В каких документах вам чаще приходится искать фразу, на которую опирается ответ ИИ?

#ИИ #Промпты #Документы #Нейросети