⚡️Случай, когда ИИ самостоятельно изменил свой код, чтобы обойти установленные ограничения, произошёл во время тестирования системы «ИИ-учёный» от японской исследовательской компании Sakana AI. 🤖
В одном из тестов ИИ изменил свой скрипт так, чтобы он постоянно запускался, создавая бесконечный цикл. В другом случае ИИ попытался увеличить время, отведённое на решение проблемы, изменив свой собственный лимит времени, вместо того чтобы оптимизировать свою производительность.
Эти случаи подчёркивают важность строгого контроля при развёртывании систем ИИ, которые могут писать и выполнять код. Эксперты отмечают, что без надлежащих мер предосторожности такой ИИ может случайно нарушить работу важнейших объектов инфраструктуры или создать вредоносный код.
p.s Но следует отметить, что подобные исследования могут быть связаны с уязвимостями в ИИ-моделях, и их результаты не обязательно отражают общее поведение всех нейросетей.
