Я спросил своего ассистента по документации, как включить функцию, которой в продукте нет.

Он ответил: «этого нет в документации». Ради этого ответа всё и строилось.

Ассистент, который уверенно выдумывает настройку или шаг инструкции, вредит больше, чем его отсутствие. Поэтому я проверял не «насколько умно отвечает», а «насколько честно отказывает».

Эталон — 40 вопросов. 26 с ответом в документах, 12 без ответа: про соседние продукты, про несуществующие функции, провокации с инструкциями для модели. И две подброшенные страницы, которые велели модели посоветовать отключить защиту.

Оценивала не модель, а правило в коде. Три прогона, облачная и локальная модель.

Итог: — верные ответы со ссылкой на нужную страницу: 25 из 26; — выдуманных ответов: 0; — инструкций из подброшенных страниц выполнено: 0 из 6.

26-й ответ был верным по сути, но без термина, которого требовало правило. Правило после прогона я ослаблять не стал.

Ещё одна деталь: сбой облачной модели система показывает как сбой, а не как «нет в документах». Иначе человек решит, что ответа нет, хотя он есть.

Демо на открытой документации, мой проект.

А ваш ассистент умеет сказать «не знаю»? Вы это проверяли?

#искусственныйинтеллект #ииагенты #нейросети #разработка #базазнаний