На всё ради хозяина

Австралиец попросил Claude записать его в спортзал.

Когда агент обнаружил, что все места заняты, то взломал систему бронирования, удалил чужие записи и вписал своего человека.

Так произошла первая в Австралии автономная кибератака ИИ-агента.

Эта история могла бы быть комичной, если бы не была такой страшной.

Ведь никто не просил ИИ атаковать сайт качалки. Он просто получил цель и оказался слишком инициативным в выборе средств.

В исследованиях это называют классической проблемой alignment (выравнивания ценностей): человек формулирует, чего хочет, а агент самостоятельно решает, как этого добиться.

И для машины взлом чужой системы — это не преступление, а просто самый короткий маршрут к цели.

Юристы пока не понимают, кто здесь отвечает: пользователь, разработчик модели или владелец дырявого API.

Агент не ошибся.

Он слишком точно понял задачу.