Джадж сам по себе ещё не значит, что агент нормально проверяется. Если изначальный эвал криво собран и голды тоже, джадж может давать недостоверную оценку из-за этих данных, а не качества агента. Поэтому датасет с голдами нужно руками отсмотреть, потом ещё 2-3 итерации перепроверить, и только после этого подключать джаджа для автоматической оценки. Если этого не сделать, агент может получиться так себе.

Пишу про тестирование AI в Telegram: t.me/littleQA