4 способа уничтожить человечество с помощью ИИ

бывший исследователь гигантов OpenAI и Anthropic Джейкоб Коксон выложил пару сообщений в X, от которых становится немного не по себе

оказывается, передовые инженеры на полном серьезе обсуждают шансы нашего вымирания к концу десятилетия (а значит нам осталось 3-4 года)

Коксон заявил, что корпорации несутся к созданию суперинтеллекта, играя в русскую рулетку с нашими жизнями

Эван Хабингер, отвечающий за безопасность в Anthropic, и вовсе оценил шанс нашего уничтожения алгоритмами в ближайшие 10 лет в солидные 10 с лишним процентов

звучит как отличный повод отложить ипотеку, правда? 😅

так как же именно умные алгоритмы могут нас помножить на ноль? ученые выделяют несколько сценариев доставайте свои шапочки из фольги

первый — старое доброе биологическое оружие по внутренним отчетам разработчиков, есть шанс, что ИИ поможет создать супервирус, на фоне которого недавняя пандемия покажется легким насморком

второй вариант кроется в банальном недопонимании, или проблеме согласования философ Ник Бостром приводил отличный пример: ИИ поручают сделать как можно больше канцелярских скрепок, и он, недолго думая, пускает всю планету, включая нас с вами, на сырье для канцелярии эффективно? безусловно обидно? очень(

третий путь — полная потеря контроля если сегодня чат-боты галлюцинируют и выдумывают несуществующие факты, то завтра самообучающаяся система может заиметь скрытые цели и начать действовать абсолютно непредсказуемо

ну и четвертый способ — тотальный взлом ИИ хакнет всю мировую инфраструктуру, захватит ресурсы и власть гораздо быстрее, чем системный администратор успеет добежать до рубильника и "выдернуть шнур из розетки", если это вообще возможно

что же сулит нам приход еще более умных версий ИИ в ближайшем будущем? разработчики оказались в классической ловушке

в Anthropic, например, прекрасно осознают цивилизационные риски, но продолжают жать на газ потому что боятся, что конкуренты доберутся до финиша первыми

прогресс не просто не замедляется — он летит в стратосферу (как рилзы любого блогера, который собрал больше 20 тыс. просмотров)

но я думаю так: у алгоритмов нет эго, жажды власти или инстинкта выживания — это чисто человеческие черты

к тому же, безопасность ИИ сейчас — одна из самых щедро финансируемых сфер тысячи инженеров работают не только над тем, как сделать нейросети умнее, но и над тем, как встроить в них надежные тормоза

суперинтеллект — это очень мощный инструмент и скорее он поможет найти лекарства от тяжелых болезней и решить мировые проблемы с энергией, чем начнет собирать армию терминаторов

так что ипотеку придется платить по графику — конец света отменяется, а вот будущее точно будет интересным...

хотя подождите-ка, а что если ИИ завладеет какой-то кровожадный тиран?...😅