Недавно тестировали ИИ-агента, который сам придумал ограничение на работу с базой данных и сам стал выполнять это ограничение)

В инструкциях были разрешены read-only запросы. Но агент почему-то решил, что для их выполнения нужно дополнительное согласование.

Казалось бы, обычная ошибка модели. Но дальше интереснее.

Агент сохранил этот вывод в память.

При следующем обращении он уже использовал собственную запись как основание для отказа. Получается, сам придумал правило, сам запомнил его и сам начал соблюдать. Самостоятельный)

После корректировки инструкций запрос удалось выполнить. Но проблема оказалась интереснее, чем просто неудачный ответ.

Обычная галлюцинация может испортить один результат. А ошибка в долговременной памяти способна влиять на десятки последующих действий.

Из этого кейса я выделил три практических момента:

1. Память не должна быть источником правил. Выводы агента не могут переопределять инструкции и политики доступа.

2. У ограничений должен быть источник. Если агент отказывается выполнять действие, важно понимать, на какое конкретно правило он ссылается.

3. Исправить промпт недостаточно. Нужно проверять и сохранённую память, иначе ошибочное ограничение может продолжить влиять на поведение.

Сейчас мы активно учим агентов запоминать контекст, накапливать опыт и работать автономно.

Но вместе с этим появляется новая задача: контролировать не только то, что агент делает, но и то, на основании какой информации он принимает решения.

Иначе можно получить систему, которая уверенно соблюдает правила, существующие только в её собственной памяти.