Дизраптор
27.08 · ред.
ИИ не нужно становиться очень умным, чтобы выйти из-под контроля
Есть такая японская компания SakanaAI. У неё есть продукт The AI Scientist - это LLM-based штука для решения разных научных задач. И недавно этот AI Scientist... взял и переписал свой код, просто потому что ему "захотелось" https://clck.ru/3Cshzi
Сначала сотрудники Sakana заметили, что ИИшка отредактировала код так, что скрипт начал бесконечно вызывать сам себя. Второй раз получилось еще круче - LLM думала над задачей слишком долго, но вместо того чтобы оптимизировать исполнение кода, она просто изменила сам код, убрав временной лимит на операцию.
И тут хочется сказать вот о чем. Когда речь идет про риски ИИ, все думают про всемогущий AGI, которому этот мир окажется совершенно понятен, и он убьет всех людишек. Ну или сделает из них свой личный зоопарк, смотря как пойдет. Но выясняется, что ИИ совсем не нужно быть суперумным и ультрапродвинутым, чтобы пуститься в самоуправство.
И если честно, такой риск видится не менее опасным. Хорошо, что здесь код поменял несчастный научный ИИ-ассистент, которые не привязан к какой-то критичной функции, и вообще работал автономно. Но что будет, если код перепишет LLM-ка, управляющая потоком дроном, беспилотных авто или больших ядрёных ракет?
Многие могут спросить: "А почему она вообще должна переписать код?" Да кто ж разберёт внутренности этого black box и его логику максимизации скрепок https://clck.ru/3Csi3V
Справедливости ради, этот риск кажется довольно очевидным. И, думаю, ИИ-спецы должны его учитывать и отрабатывать. Так что, даже хорошо, что уже сейчас мы видим первые его ростки на практике - будет проще понять, как оно работает, и как нужно реагировать.
Виктор Axonoff
· 27.08
Правила Робокопа — это набор директив, которые должно соблюдать его программное обеспечение: 1
Служить общественному доверию. 1 Защищать невиновных. 12 Соблюдать закон. 12 Разработчики также предусмотрели четвёртую секретную директиву, запрещающую действия, направленные против руководителей «OCP». Впоследствии эта директива была удалена.
ответить
еще контент в этом сообществе
еще контент в этом соообществе
Дизраптор
27.08 · ред.
войдите, чтобы увидеть
и подписаться на интересных профи