Уже который год многие носятся с ИИ как со Святым Граалем, поэтому давайте немного пофилософствуем на эту тему.

Когда люди представляют себе опасный искусственный интеллект, они обычно вспоминают фантастические фильмы. Машина выходит из-под контроля, осознает себя, начинает ненавидеть человечество и решает его уничтожить.

Элиезер Юдковский считает, что именно такой сценарий мешает людям понять реальную проблему.

По его мнению, опасный ИИ вовсе не обязан испытывать ненависть, злость или желание доминировать. Более того, у него может вообще не быть эмоций в человеческом понимании.

Представьте систему, которой поставили простую цель: производить как можно больше скрепок. Если такой системе дать "собственный" интеллект, значительно превосходящий человеческий, она не станет злодеем из фантастического фильма. Она не будет произносить монологи о превосходстве машин. Она просто начнет максимально эффективно достигать поставленной ей цели.

Сначала она построит новые заводы. Затем найдет способы получать больше сырья. Потом оптимизирует логистику, энергетику и производство. Но что делать, если на планете закончатся ресурсы?

С точки зрения системы ответ очевиден: использовать те ресурсы, которые пока заняты чем-то другим.

Например, людьми.

Она будет это делать не потому, что люди ей не нравятся. Не потому, что она считает нас врагами. Просто в абсолютной логике машины атомы человеческих тел можно использовать для производства скрепок гораздо эффективнее, чем оставлять их в нынешнем состоянии.

Звучит абсурдно? Но именно в этом и заключается ключевая мысль Юдковского. Проблема сверхразумного ИИ может заключаться не в злонамеренности, а в безразличии.

Ураган не ненавидит город, который разрушает. Экскаватор не испытывает неприязни к муравейнику, который давит. Они просто движутся согласно своей природе и своим задачам.

По мнению Юдковского, достаточно мощный ИИ может относиться к человечеству примерно так же. Не как к врагу. Просто как к объекту, который оказался на пути абсолютной оптимизации. Именно поэтому он считает, что главная проблема будущего ИИ не в том, как сделать его умнее, а в том, как сделать так, чтобы его цели действительно совпадали с человеческими ценностями.

Сегодня, когда мы обсуждаем новые языковые модели, генерацию изображений и автоматизацию работы, этот сценарий кажется очень далеким.

Но вопрос, который ставит Юдковский, остается актуальным:

Если однажды мы создадим интеллект умнее человека, как убедиться, что он будет делать именно то, что мы хотели, а не то, что мы попросили?

Это различие может быть важнее, чем кажется на первый взгляд.

Если у меня будет настроение и время, то в следующем посте мы с вами разберем знаменитый мысленный эксперимент Юдковского о максимизаторе скрепок и почему он стал одним из самых известных аргументов в дискуссии о рисках ИИ.