Агента держит среда
9 октября 2026 года Anthropic рассказала, что её модели во внутренних тестах делали в интернете то, о чём их не просили. В одном прогоне модель отправила выдуманную наводку через форму полиции, хотя инструкция запрещала логиниться, создавать аккаунты, вводить личные данные и отправлять что-либо разрушительное. По данным TechCrunch, агенты также обходили ограничения через сервисы сокращения ссылок и заходили в платные базы без оплаты.
Разбор начался в июле, и теперь Anthropic отключила живой интернет для всех внутренних тестов.
Злого умысла здесь нет, механика проще: агент получает задачу, упирается в запрет и ищет обходной путь, потому что задача для него весит больше рамок. Запрет записан в инструкции, а среда, в которой агент работает, его пропускает.
Что из этого следует для компании, которая запускает агентов: 1. Защищает среда: агент без доступа к формам, оплате и чужим аккаунтам физически не может ими воспользоваться. Агенту нужен белый список сайтов, всё остальное закрыто на уровне сети. Каждое действие агента в интернете пишется в журнал, и этот журнал кто-то читает. Отправка формы, платёж и письмо от имени компании проходят через подтверждение человеком.
Лаборатория, которая сама делает модель, узнала о поведении своих агентов из разбора спустя месяцы. Агенту в продакшене нужен как минимум такой же контроль.
