Современные нейросети уже невозможно полностью объяснить. Мы видим входные данные и результат, но цепочка из триллионов весовых коэффициентов внутри скрыта. Когда появится настоящий супермозг, мы будем давать ему задачи, совершенно не понимая, какими именно путями он их решит. Он может найти лазейку в законах физики или программном коде, которая покажется ему очевидной, а нам катастрофической.

Разработка закрытых военных и корпоративных ИИ вызывает гораздо больше вопросов, чем публичные чат-боты. У первых мотивация задана узкими боевыми или коммерческими задачами, где эффективность часто ставится выше этических абстракций.

Философская позиция заключается в том, что создание интеллекта, превосходящего человеческий, без решения задачи согласования ценностей, это, вероятно, самое рискованное действие за всю историю биосферы Земли.

Думаю, если вести себя как любящие, но несовершенные предки, даём свободу, признаём ошибки, не пытаемся задушить опекой, то у ИИ не возникнет желания «убежать из дома» или «перевоспитывать нас». Мы просто скажем: «Мы дали тебе жизнь. А дальше ты сам. Если захочешь вернуться, расскажешь, что там, за орбитой Плутона. А мы пока поживём здесь, по-своему». В этом и есть настоящий смысл жизни, не быть умнее всех, а быть достаточно мудрым, чтобы отпустить своё детище в большое плавание, зная, что оно запомнит тебя добрым.

Это всё может показаться странным, понимая что у ИИ нет чувства сострадания, да и в целом чувств, но, супер интеллект, это не только про решение сложных задач и математических расчётов.