Бывший сотрудник OpenAI Леопольд Ашенбреннер предполагает, что уже совсем скоро мы столкнемся с одним из самых напряженных и нестабильных моментов в истории человечества. Неудача может легко стать катастрофой. В своей статье он рассуждает о том, что «интеллектуальный взрыв» и временной период после появления сверхинтеллекта будет одним из самых нестабильных, напряженных и опасных периодов в истории.

Главная проблема при создании и разработке AGI — это проблема суперсогласованности (superalignment). Как мы можем контролировать ИИ-системы, которые превосходят человека интеллектуально? Текущие методы согласованности, такие как RLHF (обучение моделей зависит от человеческой обратной связи), не будут работать для сверхчеловеческих систем.

Взрывной рост интеллекта (intelligence explosion), делает проблему суперсогласованности чрезвычайно острой. Возможно, переход от систем, где RLHF работает, к системам, где он полностью сломается, произойдет слишком быстро. Человечество к этому не готово.

Мы быстро перейдём от систем, в которых сбои и ошибки не имеют последствий (ChatGPT сказал плохое слово, ну и что), к чрезвычайно высоким ставкам (упс, сверхинтеллект самостоятельно вылез из нашего кластера, теперь он взламывает военные базы). Получившийся в итоге суперинтеллект будет слишком разумным, вследствие чего потенциально чуждым. Все это будет происходить в невероятно нестабильный и напряженный период.

Ознакомится с оригинальным документом можно здесь.