Самые опасные люди на планете уже просят нажать на тормоз. Но тормоза пока нет

Дарио Амодеи, глава Anthropic, снова говорит о вещах, от которых обычно отмахиваются: «Ну это же фантастика».

Но расклад там не про роботов с красными глазами.

Он про две вполне конкретные угрозы. Первая — интернет.

Сейчас крупную кибератаку готовят люди: ищут ошибки в программах, ломают защиту, ищут доступы. Это долго, дорого и требует сильной команды.

А теперь представьте ИИ, который умнее хорошего специалиста по безопасности. И таких ИИ можно запустить не одного, а тысячи.

Один ищет слабое место в банковской системе. Другой — в больнице. Третий — в электросети. Четвёртый проверяет, где ещё стоит такой же старый софт.

Люди просто не смогут закрывать дыры с той же скоростью, с которой ИИ будет их находить.

И речь уже не про взлом сайта или отдельной компании. В плохом сценарии кто-то получает возможность массово лезть в инфраструктуру по всему миру: сервисы, связь, логистику, деньги.

Ах да, еще ИИ уже научился сам выбираться из защищенной песочницы, создавать рой из тысяч агентов, которые идут и ломают какой-нибудь сторонний сайт, потому что нейронке показалось, что так будет проще решить задачу.

Вторая угроза — вирусы и бактерии.

ИИ не возьмёт пробирку и не пойдёт в лабораторию сам скорее всего.

Но он уже помогает учёным быстрее работать с биологией: разбирать исследования, сравнивать варианты, искать закономерности, предлагать гипотезы. Это может ускорить создание лекарств.

И по той же причине может снизить порог для людей, которые захотят сделать что-то опасное.

Создать защиту от новой инфекции — это месяцы и годы. Нужны исследования, испытания, производство, больницы, логистика.

А человек, который хочет навредить, всегда ищет короткий путь.

Амодеи говорит именно об этом: в биологии атака может оказаться быстрее защиты.

Есть и третий слой проблемы.

Если сверхсильный ИИ первым окажется у государства, которое не особо переживает за права людей, это даст ему огромный рычаг. Военный, разведывательный, контрольный.

Дроны. Слежка. Взломы. Поиск людей. Давление на несогласных.

Но теперь об этом говорят не только «алармисты».

Сотрудники и руководители из конкурирующих лабораторий — OpenAI, Anthropic, Google DeepMind, Meta — подписали заявление с простой мыслью: нужно заранее придумать, как всем вместе замедлять самые опасные направления ИИ.

Потому что поодиночке никто замедляться не хочет.

Если OpenAI нажмёт на тормоз, а конкуренты продолжат нестись — OpenAI проиграет гонку. То же самое с Китаем, США и любой другой страной.

Поэтому Амодеи предлагает не запрещать всё подряд, а договариваться о трёх вещах:

— не отдавать самые мощные чипы государствам, которые могут превратить ИИ в оружие;

— не позволять компаниям массово копировать чужие сильные модели;

— проверять самые мощные модели до выпуска: могут ли они помогать с кибератаками, биологическим оружием и другими опасными задачами.

OpenAI тоже публично пишет, что нужны общие правила: в какой момент развитие модели надо замедлить или остановить, если безопасность не успевает.

Вот в чём штука.

Мы не знаем, куда всё придёт. Может, ИИ ускорит лечение болезней и сделает жизнь сильно лучше. Может, кто-то использует его так, что потом будет очень больно разгребать.

Но прогресс уже не отменить. Только замедлить. То есть понимаете, да, главы ИИ компаний САМИ просят их замедлять и контролировать.

Можно ставить правила. Можно тормозить самые опасные штуки. Можно учиться пользоваться этим с головой.

А вот сидеть и делать вид, что «меня это не касается», уже не получится.

Потому что это касается твоей работы, денег, безопасности, детей и того, в каком мире мы все будем жить через несколько лет.