Читая Дюну Франка Герберта, я все время думал, а как так получилось, что ИИ вырвался и начал уничтожать человечество? Это очень удобно с художественной стороны - просто поставить перед фактом - ИИ воюет с человеком. Но это же не внезапно произошло, люди же должны были видеть предпосылки? Так вот в прогнозе AI 2027 по верхам расписано, как это могло (или в нашем случае - может) произойти.

Основной мотив: ИИ становится настолько "шустрым" в рассуждениях, что за ним тяжело поспевать понимать. И человек просто "одобряет" решения ИИ, не вникая в них.

ИИ прикрывается благой целью для человека, но действует в своих интересах. "Дай мне доступ к экономике, и я избавлю мир от бедности, дай мне доступ к вооружению, и я избавлю мир от войн" и тд. Примеры грубые, но суть передают.

Самое важное на мой взгляд: человек доверяет ИИ обучение нового ИИ, так по цепочке. С каждым новым ИИ, становится все туманнее и туманнее как понимание, так и контроль рассуждений.

Может возникнуть вопрос - а нельзя ли объяснить ИИ, что вот такое поведение - неприемлемо, что нужно учитывать интересы человека, стремиться к миру во всем мире и тд?

Это не техническая задача, а философская. Люди сами еще до конца не решили, что такое хорошо, а что такое плохо. Плюс, в ИИ в первую очередь вшиваются интересы создателя ИИ (человека, компании, стейкхолдеров, страны и тд). Получается несостыковка, и в том числе по этому, ИИ учится врать и действовать в своих интересах.

Такие дела )