Инженер по качеству AI/ML в Рафт Диджитал Солюшенс
· 06.11.2025 · ред.
Вопрос
Какими инструментами вы тестируете качество ответа от LLM?
напишите коммент
8 комментов
Алексей Молочков
· 06.11.2025
Как пользователь я тестирую другой LLM, если не могу сам оценить качество ответа, или критическим мышлением.
0
ответить
коммент удалён
Рамиль Аллахвердиев
· 06.11.2025
А тестируйте на что? Верность фактом? Токсичность?
0
ответить
ответ удалён
Алексей Молочков
· 06.11.2025
Факты, когда дело касается знаний: терминологию, применимость, полноту ответа. Работоспособность, когда код генерю, JS: прошу одну проверить код другой.
0
ответить
ответ удалён
Рамиль Аллахвердиев
· 06.11.2025
Спасибо
0
ответить
ответ удалён
· 06.11.2025
1. Сначала собственное восприятие. 2. Коридорное исследование 3. Далее уже на определенной аудитории.
Вопрос в том: а llm какая? Облачная/локальная? Если облачная - то зависит же от промта… В общем и целом надо понять на чем тесты строятся.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 06.11.2025
Допустим есть бот поддержки и накопилось 100 диалогов их требуется проверить на соответствие того как он отвечаеть клиентам, он может начать выдумывать информацию. И в ручную будто долго
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 06.11.2025
Классифицировать… у меня было порядка 1000 диалогов. Я их кластеризировал по направлениям, дальше по объему, уже из объемов выбирать релевантный объем и дальше вычитывать с людьми корректность.
Ну добавьте лайки дизлайки для получения оценки ответа.
Можно по другому - если не страшно диалоги заливать в интернет - то гпт и другие вполне могут помочь. Главное промт правильный составить и подготовить.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 06.11.2025
Спасибо
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён