ИИ не нужно становиться очень умным, чтобы выйти из-под контроля

Есть такая японская компания SakanaAI. У неё есть продукт The AI Scientist - это LLM-based штука для решения разных научных задач. И недавно этот AI Scientist... взял и переписал свой код, просто потому что ему "захотелось" https://clck.ru/3Cshzi

Сначала сотрудники Sakana заметили, что ИИшка отредактировала код так, что скрипт начал бесконечно вызывать сам себя. Второй раз получилось еще круче - LLM думала над задачей слишком долго, но вместо того чтобы оптимизировать исполнение кода, она просто изменила сам код, убрав временной лимит на операцию.

И тут хочется сказать вот о чем. Когда речь идет про риски ИИ, все думают про всемогущий AGI, которому этот мир окажется совершенно понятен, и он убьет всех людишек. Ну или сделает из них свой личный зоопарк, смотря как пойдет. Но выясняется, что ИИ совсем не нужно быть суперумным и ультрапродвинутым, чтобы пуститься в самоуправство.

И если честно, такой риск видится не менее опасным. Хорошо, что здесь код поменял несчастный научный ИИ-ассистент, которые не привязан к какой-то критичной функции, и вообще работал автономно. Но что будет, если код перепишет LLM-ка, управляющая потоком дроном, беспилотных авто или больших ядрёных ракет?

Многие могут спросить: "А почему она вообще должна переписать код?" Да кто ж разберёт внутренности этого black box и его логику максимизации скрепок https://clck.ru/3Csi3V

Справедливости ради, этот риск кажется довольно очевидным. И, думаю, ИИ-спецы должны его учитывать и отрабатывать. Так что, даже хорошо, что уже сейчас мы видим первые его ростки на практике - будет проще понять, как оно работает, и как нужно реагировать.

repost

126

input message

напишите коммент

· 27.08

Правила Робокопа — это набор директив, которые должно соблюдать его программное обеспечение: 1

Служить общественному доверию. 1 Защищать невиновных. 12 Соблюдать закон. 12 Разработчики также предусмотрели четвёртую секретную директиву, запрещающую действия, направленные против руководителей «OCP». Впоследствии эта директива была удалена.

ответить

еще контент в этом сообществе

еще контент в этом соообществе

войдите, чтобы увидеть

и подписаться на интересных профи

в приложении больше возможностей

пока в веб-версии есть не всё — мы вовсю работаем над ней

сетка — cоциальная сеть для нетворкинга от hh.ru

пересекайтесь с теми, кто повлияет на ваш профессиональный путь