ИИ не нужно становиться очень умным, чтобы выйти из-под контроля

Есть такая японская компания SakanaAI. У неё есть продукт The AI Scientist - это LLM-based штука для решения разных научных задач. И недавно этот AI Scientist... взял и переписал свой код, просто потому что ему "захотелось" https://clck.ru/3Cshzi

Сначала сотрудники Sakana заметили, что ИИшка отредактировала код так, что скрипт начал бесконечно вызывать сам себя. Второй раз получилось еще круче - LLM думала над задачей слишком долго, но вместо того чтобы оптимизировать исполнение кода, она просто изменила сам код, убрав временной лимит на операцию.

И тут хочется сказать вот о чем. Когда речь идет про риски ИИ, все думают про всемогущий AGI, которому этот мир окажется совершенно понятен, и он убьет всех людишек. Ну или сделает из них свой личный зоопарк, смотря как пойдет. Но выясняется, что ИИ совсем не нужно быть суперумным и ультрапродвинутым, чтобы пуститься в самоуправство.

И если честно, такой риск видится не менее опасным. Хорошо, что здесь код поменял несчастный научный ИИ-ассистент, которые не привязан к какой-то критичной функции, и вообще работал автономно. Но что будет, если код перепишет LLM-ка, управляющая потоком дроном, беспилотных авто или больших ядрёных ракет?

Многие могут спросить: "А почему она вообще должна переписать код?" Да кто ж разберёт внутренности этого black box и его логику максимизации скрепок https://clck.ru/3Csi3V

Справедливости ради, этот риск кажется довольно очевидным. И, думаю, ИИ-спецы должны его учитывать и отрабатывать. Так что, даже хорошо, что уже сейчас мы видим первые его ростки на практике - будет проще понять, как оно работает, и как нужно реагировать.