Кто платит, когда ошибся агент

Агентные ассистенты, которые читают почту, записывают на приём и совершают покупки, получают оценки в миллиарды долларов. Один из них за месяц вырос с $2,5 млрд до $10 млрд после раунда в $1 млрд. По разбору одного автора, условия его использования устроены так: пользователь назначает сервис своим представителем, и любые сделки обязывают пользователя так, как если бы он заключил их сам. Ответственность компании ограничена $100 или суммой, уплаченной за последние шесть месяцев, в зависимости от того, что больше; споры идут в арбитраж, групповые иски исключены. Автор считает, что проверить действия агента пользователь не может: он не увидит вредоносную инструкцию в письме и не остановит покупку, совершённую, например, ночью.

Тот же принцип записан в справках двух других ассистентов от крупных компаний. В одной: «вы отвечаете за все транзакции, которые совершает ассистент от вашего имени». В другой пользователь отвечает за то, какой доступ и какие полномочия он дал. При споре одна из этих компаний отсылает к банку, и автор делает вывод, что страховкой от ошибок агентов становятся банки и карточные сети. Одна из платёжных сетей добавляет сервис, оценивающий вероятность того, что транзакцию инициировал ИИ-агент; дальше предполагаются сигналы по поведению, риску продавца, учётным данным и шаблонам платежей.

Другой автор сводит то же к четырём вопросам о конкретном агенте: какой ИИ и что он делает, кто разрешил, кто может остановить, кто платит, если он ошибся. На последний, по его наблюдению, отвечают редко. Для сравнения: в одной из крупных стран федеральные правила ограничивают ответственность держателя карты $50, а мировые потери от карточного мошенничества в 2024 году, $33,41 млрд, несут эмитенты, продавцы и процессоры. Держателя карты в этом списке нет. В случае агентов, по словам автора, убыток ложится на того, кто их развернул, и пока никто не может ответить, чей это бюджет, команда добавляет согласования и оставляет пилот пилотом.

На уровне процесса о том же пишут ещё два автора. «Это сделал ИИ» не принимает ни клиент, ни коллега, ни регулятор: у решения агента должен быть владелец с правом и обязанностью вмешаться. У обычного ПО есть владелец, права доступа, журналы и аудит. У агента остаются открытыми вопросы: какая модель приняла решение, какие данные и инструменты использовались, какие другие агенты участвовали, вышел ли агент за рамки, должен ли был одобрить человек. Главный вопрос в том, может ли организация это доказать.

Во всех этих описаниях ответственность закреплена за тем, кто хуже других может видеть действия агента, остановить их или проверить.