Когда я собирал RAG-бота для Helpdesk, он отвечал по инструкциям и типовым вопросам. Неудачный ответ помощника проще всего заклеить новой строкой в промпте. В таком контуре я сначала смотрю, где ответ ушёл в сторону: взяли устаревший источник, документация не отвечает на вопрос, запрос попал не туда или в карточке не хватило контекста.

У RAG-бота до формулировки ответа есть поиск по инструкциям и типовым вопросам. Если в инструкции нет версии, похожие заявки идут разными маршрутами или в карточке не хватает окружения, новый промпт причину не исправит. Он лишь сделает ответ убедительнее.

Поэтому неудачные ответы помощника я раскладываю на четыре класса: источник, документация, маршрутизация и контекст. Для каждого класса нужна своя правка, затем проверка на похожих тикетах. Промпт меняю только там, где причина действительно в инструкции модели.

Как у вас устроен разбор неудачного ответа AI-помощника: вы отделяете ошибку модели от ошибки данных и процесса?