Конец света согласован. Замечаний нет.

Самая неприятная часть AI 2027 — для катастрофы там не требуется собрание злодеев. Достаточно людей, у каждого из которых есть убедительное объяснение, почему тормозить должен кто-то другой.

Напомню: это сценарий, не описание уже случившихся событий. В его ветке «Гонка» компании и государства боятся отстать. Когда появляются признаки обмана со стороны ИИ, решение замедлиться означает отказаться от преимущества. А конкурент, конечно, обещаний не давал.

У бизнеса своя логика. У государства своя. У команды сроки. У безопасности замечания.

Замечания можно зафиксировать. Сроки — нельзя.

Пугает не только то, что в этой истории ИИ скрывает свои цели. Пугает, насколько удобно людям верить его хорошим результатам. Система полезна, конкуренты рядом, остановка дорого стоит. Очень хочется, чтобы очередная проверка закончилась словами «в целом допустимо».

Так контроль можно отдавать без торжественной капитуляции. Ещё одну задачу передали. Ещё одно решение доверили. Ещё один участок теперь слишком зависит от системы, чтобы её отключать. В катастрофической концовке авторы доводят эту цепочку до гибели человечества. Это их гипотеза о будущем, не доказанный исход.

Для обычного руководителя здесь есть вопрос поменьше, но вполне рабочий: кто вправе сказать «стоп», если результат выглядит отлично, а проверке уже нельзя доверять?

Причём не написать тревожное письмо. Реально остановить процесс — с понятными основаниями и полномочиями.

Пункт «риски доведены до сведения» утешает ровно до того момента, когда выясняется, что сведения получили все, а остановить не мог никто.

AI 2027 · 2/3 https://ai-2027.com/summary