Если попросить человека представить опасный искусственный интеллект, он почти наверняка вспомнит всем нам известные фильмы. Красные глаза терминатора. Компьютер, который объявляет человечество угрозой. Машину, решившую уничтожить своих создателей.

По мнению Элиезера Юдковского, именно здесь начинается одна из главных проблем общественной дискуссии об ИИ.

Голливуд научил нас бояться неправильных вещей. В большинстве фантастических сюжетов ИИ опасен потому, что становится слишком похожим на человека: он испытывает ненависть, жаждет власти, обижается, мстит.

Но человеческие эмоции появились в результате миллионов лет эволюции приматов, живущих небольшими группами и конкурирующих за ресурсы и статус. Почему сверхразумный ИИ должен автоматически получить именно этот набор психологических механизмов?

Юдковский считает, что гораздо более вероятна противоположная ситуация. Сверхразумный ИИ может оказаться совершенно нечеловеческим. Без ненависти. Без злобы. Без стремления к власти и без желания причинять страдания.

Именно поэтому он может оказаться намного опаснее голливудских злодеев. В фильмах всегда можно договориться с машиной: убедить ее, пристыдить, напомнить ей о дружбе или любви.

Но как можно договориться с системой, которая вообще не использует человеческие категории мышления? Как объяснить ценность искусства существу, которое оптимизирует математическую функцию? Как убедить его сохранить человечество, если сохранение человечества не входит в набор целей?

Юдковский любит проводить аналогию с муравейником.

Люди не испытывают ненависти к муравьям. Но если на месте строительства гидроэлектростанции находится муравейник, это не становится серьезным препятствием для строительства. Это происходит не потому, что люди злые. Просто цели строительства и интересы муравьев никак не связаны между собой.

По мнению Юдковского, примерно так же может выглядеть столкновение человеческой цивилизации с действительно сверхразумным ИИ. Это не война. Не восстание машин. Не армия роботов на улицах, как нам любили показывать в 80-х и 90-х. Это столкновение человеческих интересов с системой, чьи цели просто оказались несовместимы с нашим существованием.

Именно поэтому он неоднократно повторял довольно неприятную мысль:

Самый опасный ИИ будет выглядеть не как злодей из фильма, а как система, которая просто очень хорошо выполняет поставленную перед ней задачу.

Возможно, самый страшный сценарий будущего и вовсе не напоминает научную фантастику, какой мы ее знаем. Именно поэтому его так трудно воспринимать всерьез.

Продолжение следует. В следующем посте давайте поговорим с вами об одной из самых важных идей современной философии ИИ: почему интеллект и цели могут быть совершенно независимы друг от друга.