Цитата настоящая, тезис - наполовину
Модель ответила со ссылкой на источник, ссылка проверена. Осталось понять, что именно она подтверждает.
User story по мотивам статьи о плагине Veynrel для Obsidian: Как пользователь, я хочу, чтобы цитата под тезисом модели подтверждала весь тезис, а не его половину, чтобы не перепроверять ответ, который уже прошел валидацию. Критерий приемки: тезис из двух фактов с цитатой на один факт не получает зеленую галочку.
Пока критерий не выполняется: код проверяет, что цитата существует и взята из нужной заметки. Автор сам описал случай, когда цитата закрыла только один из двух фактов тезиса.
Проверьте свой инструмент с RAG: есть ли в нем хоть одна проверка полноты, или только проверка существования.
https://habr.com/ru/articles/1098922/ #LLM #RAG #системныйанализ