Как же иногда сложно довести до ума джаджа. Бывает, что из 100 датасетов не хватает ещё 200, особенно если есть какая-то джаба, которую джадж должен точно определять. И это всё превращается в такую адовую душнину, что капец.

Поэтому лучше всего разбивать агента на подтулы и отдельно мониторить каждую тулу: правильно ли она вызвалась и корректно ли выполнилась. Тогда проще понять, где именно проблема: агент выбрал не тот инструмент или сама тула отработала неправильно.

Пишу про тестирование AI в Telegram: t.me/littleQA