Вы даже не представляете масштабы катастрофы

Посмотрел свежий подкаст Глеба Самойлова с Романом Ямпольским про AGI (искусственный сверхинтеллект).

Если коротко: после этого выпуска хочется не нейросетки внедрять, а уехать в глушь и завести козу.

Ямпольский не просто «паникер из интернета», а один из топовых экспертов по безопасности ИИ. И его прогнозы звучат как приговор.

В чем суть «катастрофы»?

1. Мы строим то, что умнее нас. Попытка человека контролировать AGI, это как если бы муравей пытался контролировать действия гроссмейстера. Мы даже не поймем, в какой момент он нас переиграл.

2. ИИ не обязательно быть злым, чтобы нас уничтожить. Ему просто может стать «по пути». Если его цель, построить эффективную систему, а человечество в эту систему не вписывается (потребляет ресурсы, мешает, задает глупые вопросы), он нас просто отодвинет. Как мы отодвигаем муравейник при строительстве шоссе.

3. Безработица 99%. Это не про «дизайнеров заменят». Это про то, что ИИ будет делать ЛЮБУЮ интеллектуальную и физическую работу лучше, быстрее и дешевле. Плана «Б» у человечества нет. Мы просто летим в стену на полной скорости и радуемся, как красиво мелькают огни.

Что я вынес из этого выпуска: Безопасность ИИ это миф. На данный момент у нас ноль (буквально 0) проверенных способов гарантировать, что сверхмощный разум будет дружелюбен к людям.

Мы — последнее поколение, которое живет в «человеческом» мире. Через 5–10 лет правила игры изменятся навсегда. И наши текущие KPI, карьеры и планы на пенсию могут превратиться в тыкву.

Ирония судьбы. Мы создаем Бога, который нас не заметит.

Если хотите качественной тревоги на вечер искренне рекомендую выпуск Самойлова. Это отрезвляет получше любого кофе.

А вы как думаете: Ямпольский слишком сгущает краски или мы реально строим себе цифровую гильотину?