Когда агенту дали цель, а API — слишком много возможностей
Хороший пример к теме, которую мы сегодня разбирали.
Проблема здесь не столько в «слишком умном AI», сколько в границах системы: если API технически позволяет выполнить действие без нужной проверки прав, агент способен воспользоваться этой возможностью в процессе достижения цели.
Поэтому для AI-агентов важно контролировать не только промпт, но и реальные права, доступные методы и возможные последствия действий.