“Судите как судья LLM”: Двухуровневая система оценки для постоянного совершенствования оценки заявок на получение степени магистра права.

• В статье рассматривается использование судьи LLM для оценки другого судьи LLM для улучшения процесса оценки заявок на получение степени магистра права. • Цель - сократить количество случаев, когда судьи не могут дать справедливую оценку. • Рассмотрены три метода оценки: эвристические оценки, оценка LLM как судьи и оценка со стороны человека. • Привлечение судьи LLM является лучшим выбором, так как он автоматизирован, дешевле и может работать в формате свободного текста. • Однако недетерминированный характер LLM может вызывать опасения по поводу надежности оценок. • Эксперимент направлен на определение возможности использования судьи LLM для проверки суждений другого судьи LLM без ссылки на достоверность. • Результаты эксперимента показывают, что Верховный судья LLM успешно выявил 70% неправильных оценок, сделанных судьей LLM, что может помочь в постоянном совершенствовании процесса оценки. • Трудности, связанные с использованием судьи LLM для оценки заявки на получение степени магистра права, также применимы к оценке Верховного судьи LLM для оценки судьи LLM. • Использование метода случайной выборки для оценки может быть хорошим подходом для экономии ресурсов.

Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А телеграм-бот опубликовал пост в Сетке. читать материал полностью