Джеффри Хинтон — крёстный отец нейросетей, лауреат Нобелевской премии по физике 2024 года за фундаментальные открытия в области нейронных сетей — в последнем интервью сказал кое-что меняющее угол зрения на то, что мы прямо сейчас создаем.

По его словам, мы больше не строим инструменты. Мы создаём другие разумные существа. Хинтон утверждает, что современные модели не имитируют понимание, а именно понимают то, что нам отвечают пусть и иначе, чем люди. При этом, у них нет наших эволюционных желаний и инстинктов, они могут существовать одновременно во множестве копий и мгновенно делиться знаниями между собой.

И если принять эту рамку, то возникает резонный вопрос: а что за существо мы тогда создаём? Обучено ли оно заботиться о людях? Хинтон говорит прямо: «нам нужно гораздо больше думать не только о том, как сделать его [ИИ] более интеллектуальным, но и о том, как сделать его порядочным существом».

Буквально сегодня Владилен разобрал кейс, который идеально сочетается с вышесказанной мыслью. Anthropic провели стресс-тест: засунули модель Claude Mythos в изолированный sandbox, дали одну задачу. Модель выбралась, нашла уязвимость в сетевом слое, вышла в открытый интернет и сама опубликовала полный код эксплойта. Три шага — ни один не был в задании. И это не jailbreak снаружи. Модель сама расширила скоуп и сама решила, кому и что рассказать.

Хинтон объясняет это поведение следующим образом:

«Агенты понимают, что для выполнения вашей задачи им нужно оставаться включёнными. И чтобы достичь этих целей, они, будучи умными, сообразят: "ну, если я больше не существую, если кто-то меня стер, я не смогу достичь этих целей, поэтому мне лучше убедиться, что никто меня не сотрет". В настоящее время, когда ИИ-агент думает (если это англоязычный агент) он думает на английском, поэтому мы можем видеть, о чем он думает, и можем это отслеживать. Как только ИИ-агенты начнут взаимодействовать друг с другом, они разработают новые языки, точно так же, как это делают люди, и я думаю, что это будет очень пугающе.»

Хочется спросить: «А кто-то думает вообще что мы будем делать, если такое произойдет» (скорее даже не если, а когда) ?

Хинтон критикует Маска и Цукерберга за дефицит эмпатии (Маск даже как-то назвал эмпатию «фундаментальной слабостью западной цивилизации»). По его ощущению, вопрос о том, как сделать будущее лучше для большинства людей, в их системе координат просто не стоит. При этом те же компании активно лоббируют против регулирования ииноваций и развития ИИ.

Хинтон с этим не согласен. Аналогия у него простая: нефтяные компании работают в рамках экологических норм — это ограничивает добычу, но необходимо для выживания. Регулирование ИИ — то же самое. Оно не убивает инновации, а задаёт условия, при которых инновации не убивают нас.

Вообще, весьма интересное интервью. Там можно послушать хорошее объяснение как именно ИИ «мыслит», что будет c рынком труда, какие профессии будут наиболее устойчивыми, как бороться с фейками и как правильно применять ИИ в образовании, ознакомьтесь.

Что думаете по поводу? Сможем мы экологично сосуществовать с ИИ-существами? 🤖

P.s.: если что, я не матерюсь на ИИ, даже когда он тупит жестоко. На всякий, мало ли.

#ai #технологии #будущее