Как измерить не заврался ли бот поддержки

Часть 1 про Precision Часть 2 про Recall

Первые две метрики связаны с качеством поиска нужных документов, а чтобы оценить качество ответа используется Faithfulness. Метрика отвечает на вопрос, хорошо ли сформулирован ответ.

Критерии корректного ответа: Факт явно присутствует в предоставленных материалах В базе знаний: «Премия аналитика = 10%» ✅Бот: «Аналитик получает 10%»

Цифры, условия, логика переданы точно В базе знаний: «Премия выплачивается после испытательного срока» 🆘Бот: «Премия выплачивается сразу после приёма»

Бот не добавляет информацию, которой нет в источнике В базе знаний нет про индексацию. 🆘Бот: «Премия индексируется раз в год» #метрики_бота_поддержки

В этом посте были ссылки, но мы их удалили по правилам Сетки