К чему приведёт отсутствие контроля над ИИ?

12 лет Илон Маск требовал, чтобы искусственный интеллект регулировало государство. В 2014 году называл это вызовом демона. В 2023 говорил о потенциале разрушения цивилизации и требовал ввести правила заранее.

В октябре 2026 он сказал другое: «Людям будет трудно удержать контроль».

В последних интервью он больше не требует регулирования, а объясняет, почему контроль удержать не выйдет, и предлагает рассчитывать на то, что сверхразум окажется к нам благожелателен.

Дело не в этом.

Я посмотрела, какой контроль предлагают взамен, и узнала схему.

29 сентября 2026 года в Белом доме подписали добровольную декларацию о безопасности: разработчики проверяют модели друг друга перед выпуском. Проверяемый выбирает проверяющего, оплачивает его работу, определяет объём доступа и согласовывает публикацию выводов. Решение о выпуске остаётся за ним же. Остановить выпуск не вправе никто.

Эту конструкцию я уже видела. Так был устроен аудит до 2002 года.

Качество аудита публичных компаний США проверяли сами аудиторы, друг у друга. Фирмы «большой пятёрки» проверяли конкурентов. За всё время ни одна крупная фирма проверку не провалила. 3 января 2002 года Arthur Andersen получил положительное заключение от конкурента Deloitte. Enron к этому моменту был банкротом уже месяц.

Цена схемы: 74 млрд долларов потерь акционеров Enron, активы WorldCom завышены более чем на 11 млрд, 25 лет лишения свободы главе WorldCom, 85 тысяч человек без работы после гибели Andersen. Акционерам Enron вернули по искам 7,2 млрд, меньше десятой части потерь.

После этого схему признали негодной. Закон Сарбейнза-Оксли, PCAOB, инспекции с доступом к рабочим документам и право применять санкции. Проверяющего вывели за периметр профессии, потому что изнутри она себя не проверила.

24 года спустя в США собирают ту же схему заново. С одним отличием в худшую сторону: тогда провал признали и проверку сделали обязательной, с инспекциями и санкциями. Сейчас декларация добровольная, санкций в ней нет. В отрасли, где ставка не поддаётся счёту.

Вот что я хотела бы понимать. В 2002 году цена ошибки измерялась в миллиардах и рабочих местах. Это много, но это счёт, который можно выставить и частично погасить. Чем измеряется цена ошибки здесь, не называет никто, ни регуляторы, ни сами разработчики. Об этом Маск в интервью и говорит.

Почему это наш вопрос, а не американский. Реформу 2002 года мы потом увидели в международных стандартах, по которым работаем сами. Но последствия Enron несли акционеры Enron и сотрудники Andersen, а периметр этой истории не ограничен ни компанией, ни страной.

В прошлый раз ошибка была измерима. В этот раз, по словам самих разработчиков, на кону существование человечества. Чем это мерить?