Самая частая ошибка — проверить систему на нескольких удачных примерах и решить, что она готова к работе. Но реальные проблемы появляются совсем в других ситуациях: неполные данные, недоступные сервисы, противоречивая информация, повторные запуски и нестандартные запросы.

Поэтому тестировать нужно не отдельного агента, а весь workflow — от входящих данных до конечного действия.

Хорошая проверка включает не только обычные сценарии, но и: • пограничные случаи; • ошибки во входных данных; • нестандартное поведение пользователей; • недоступность инструментов и сервисов; • повторную обработку одной и той же задачи. В

Особенно важно проверять ситуации, когда агент не знает ответа. Если база данных недоступна, что он сделает? Сообщит о проблеме или уверенно придумает результат? Для бизнеса второй вариант обычно гораздо опаснее. Хорошая система должна уметь остановиться.

Ещё один важный момент — тестировать не только качество ответов, но и стоимость работы системы. Иногда задача решается корректно, но требует в несколько раз больше вызовов моделей и инструментов, чем планировалось.

И, пожалуй, самый полезный принцип: каждый реальный сбой должен превращаться в новый тест. Ошибку исправили — добавили сценарий в тестовый набор. Так система становится устойчивее с каждой итерацией.

Поэтому главный вопрос при тестировании AI-системы звучит не «умеет ли она решать задачу?», а другой: Что произойдёт, когда всё пойдёт не по плану?.