⚡ База знаний не спасает от выдумки
📉 Замерил качество своего ИИ-ассистента по документации. Вопрос про кассовый разрыв: поиск нашёл нужный фрагмент — идеальное попадание. А достоверность ответа — 0,04 из 1. Модель держала перед глазами правильный текст и всё равно ответила выдумкой.
Многим сейчас продают «ИИ на вашей базе знаний» с обещанием «теперь он не выдумывает». Поиск и генерация отвечают за разное. Поиск — за то, что документ найден. Генерация — за то, что ответ на него опирается. Второе из первого не следует.
Принимая такой инструмент, проверяйте не «нашлось ли», а сходится ли ответ с найденным — на своих реальных вопросах, а не по демонстрации. Я меряю обе стороны разными метриками, иначе эти 0,04 не увидел бы: ответ выглядел убедительно.
А вам уже показывали ассистента «на своей базе», который отвечает гладко? Спрашивали у него то, что знаете сами наизусть?
Финансовый директор || Москва
В этом посте были ссылки, но мы их удалили по правилам Сетки
