Что было известно боту до ответа
Разбирая наблюдаемость в BiFL, мы выбрали единицей расследования одно входящее сообщение. В условном примере чатбот ошибается с графиком пункта выдачи. По финальному ответу видно проблему, а по шагам можно проверить её источник.
Если один ответ прошёл через два вызова модели и инструмент между ними, у каждого шага остаются свои данные. Сохранённая версия промпта помогает разобраться, действовала ли в тот момент инструкция, которую уже успели изменить. После правки можно повторить вопрос и посмотреть, где меняется ход.
С чего вы начинаете разбор в своей команде? Сначала проверяете источник сведений, журнал вызовов или версию настроек?