План А: как не умереть к 2030 (и дотянуть хотя бы еще 10 лет)

Ребята, которые год назад в AI 2027 рисовали почти неизбежный захват мира искусственным интеллектом к концу десятилетия, теперь выложили толстый сценарий на девяносто страниц о том, как этого можно избежать. Называется AI 2040: Plan A.

Разберём все варианты коротко.

План А - «Проверенное замедление». США и Китай в 2029 году заключают сделку: полная прозрачность всех исследований, жёсткая проверка соблюдения и механизм взаимно гарантированного уничтожения вычислительных мощностей. Если кто-то начинает тайно наращивать мощности, остальные могут ответить симметрично. Развитие ИИ замедляют. До 2035 года системы остаются примерно на уровне лучших человеческих экспертов, потом почти пауза, и только в 2040-м разрешают переход к суперинтеллекту. Причём сразу у нескольких компаний в разных странах. Авторы считают этот путь наиболее оптимистичным. ++ План Б - «Конкуренция с Китаем». ++ США не договариваются, а пытаются выиграть время силой: кибератаки, давление на цепочки поставок, в крайнем варианте даже удары по инфраструктуре. Цель - увеличить отрыв и потратить его на безопасность. На практике это усиливает гонку и повышает риск конфликта. ++ План В - «Сжечь преимущество». ++ Лидирующие американские лаборатории сами добровольно замедляются, тратят часть своего отрыва на исследования безопасности и, возможно, координируются с другими. Без прямого саботажа Китая. Замедление получается незначительным - от одного месяца до нескольких.

План Г - «Гонка». Все продолжают бежать на максимальной скорости. На безопасность всем наплевать. Суперинтеллект появляется около 2030 года через ускоренное самоулучшение. Авторы оценивают шансы на хороший исход для человеческого общества здесь самыми низкими. ++ План Д - «Выключить всё».++ Полный международный мораторий на дальнейшее развитие передовых систем (кто снова сказал "Вархаммер"?). Самый радикальный вариант. Он даёт больше запаса по времени, но почти останавливает и прогресс в решении проблем.

Есть ещё текущая политика - мелкие шаги вроде закона о прозрачности 2027 года. По оценке авторов, она почти не меняет базовую траекторию гонки.

В приложении к тексту авторы даже пытаются оценить шансы. План А получает примерно 70 процентов на избежание общечеловеческой катастрофы при условии, что его реально исполнят. Остальные заметно ниже. Но вероятность того, что именно А случится, сами авторы ставят в районе пяти процентов.

Конечно, прогнозировать можно красиво - никто же потом не спросит за несбывшийся прогноз. Только главный вопрос все равно остается вне подобных прогнозов: какие реальные стимулы у государств и компаний выбирать замедление или мораторий, когда первый, кто сжульничает, получает контроль над всей экономикой и, возможно, над остальным человечеством? Прозрачность и взаимные проверки звучат разумно только в теории. На практике они требуют уровня доверия, которого между крупными державами сейчас нет и, скорее всего, не появится само собой.

Получается классическая картина. Исследователи нарисовали подробную карту местности и даже расставили по ней таблички «здесь опасно». А идти по самой безопасной тропе почти никто не собирается. Политическая воля по-прежнему самый дефицитный ресурс.

Сценарий всё равно стоит прочитать. Хотя бы чтобы понять, насколько далеко разговоры об ИИ уже ушли от «просто удобный инструмент».

P.S. Когда уже такие сценарии станут отдельным литературным жанром. Надо назвать как-нибудь типа «апокалиптический фанфик с таблицами и процентами».

#ИИ #нейросети #технологии #AI2040 #суперинтеллект #AIFutures