К сороковому запросу

Согласие есть — решения нет. Ответ есть — отвечающего нет.

Инженер включил автоодобрение, чтобы агент не спрашивал разрешения на каждую команду, пока он ищет утечку памяти. Несколько дней агент работал у него на ноутбуке, потом часть его команд попала в облачный аккаунт компании, и сработала тревога.

После этого выяснилось, что отделить команды инженера от команд агента нельзя. Журнал тоже их не различал: оба заходили под одним логином. Время ушло не на починку, а на восстановление хронологии.

Перед этим окно с запросом выскакивало снова и снова. К сороковому запросу его уже не читают внимательно: опасная команда получает тот же быстрый клик, что и безобидная. Anthropic посмотрела на собственного агента для кода: у опытных пользователей больше 40% сессий идут вообще без подтверждений, у новичков около 20%.

Советуют сортировать действия агента двумя вопросами: можно ли это откатить и выходит ли это за пределы компании. Если нельзя или выходит, действие ждёт названного человека, а некоторые действия не разрешены вовсе; молчание согласием не считается.

Слышали и другое. Вероятность, которую выдаёт модель, — свидетельство, а не разрешение; порог, с которого действие разрешено, должен принадлежать тому, кто платит и за пропущенное действие, и за лишнюю проверку. Одна из моделей набрала 84 балла на выборе инструмента, но это счёт на оставшихся запросах: 229 неоднозначных из теста убрали, а порог, возможно, как раз на них должен работать тяжелее всего.

Журнал есть — кто это сделал, в нём не сказано.