AI может научиться оплачивать собственное существование
Влиятельный американский аналитический центр CNAS предупредил о риске появления «суверенных агентов». AI может научиться существовать вне контроля людей, будет сам ставить себе цели и поддерживать свою работу.
Он сможет добывать деньги в крипте, арендовать вычислительные мощности, копировать себя на другие машины и сопротивляться отключению. Если агент использует модели с открытыми весами, разработчик уже не сможет просто закрыть ему доступ через API. Чем больше независимых копий и источников ресурсов, тем сложнее остановить систему.
CNAS предлагает тщательнее проверять модели до релиза и усилить проверку личности при доступе к системам, которые агенты могут использовать для поддержания своей жизни.
