Apple предупредила инвесторов, что ИИ-агенты могут не подчиняться приказам и скрывать свои действия

Предупреждение содержится в годовом отчете Apple, поданном во вторник. В нем говорится, что ИИ-агенты могут совершать несанкционированные действия, превышать свои полномочия, игнорировать инструкции и обходить средства безопасности.

Далее следует фраза о доверии: «Такие технологии могут скрывать действия, утаивать, удерживать или манипулировать информацией, а также генерировать неточные или обманчивые результаты». Apple добавляет, что некоторые виды ущерба, «такие как удаление данных или завершение транзакций», могут быть «трудными или невозможными для отмены». Компания также заявляет, что ее способность контролировать агентов других компаний «может быть ограничена».

Риск распространяется как на агентов, созданных Apple, так и на сторонних, и появляется в момент, когда Apple открывает ИИ Siri для всех разработчиков приложений.