Иллюзия контроля
Знаете, мы наивно привыкли думать, что мы контролируем свои изобретения. Что мы их создали, и они стали послушными инструментами. А теперь они выходят из-под контроля, и это страшно. Почему наивно? Потому, что когда мы делали топоры, или телеги, мы понимали как это работает, но "однажды" уровень технологий перешагнул черту понимания простым обывателем, а затем и самими специалистами.
Если честно посмотреть на историю - с определенного момента контроля не стало. Осталась иллюзия времен топора и телеги.
В 1890-х мы потеряли контроль над электричеством. Мы не видили, как оно течёт, но оно работало, и мы просто "электрифицировали всю страну". Для тех, кто хочет возразить - шутку напомню. Электричества боятся два типа людей: кто понимает, как оно работает, и кто не понимает.
В 1950-х - над "транзисторами". Мы не понимали, что внутри, но нас устраивали радиоприемники. Мы не контролировали их. Да нам было и не нужно понимать как это радиоволна превращается в песню - вещь делала свою работу.
В 1990-х - над интернетом. Мы не знаем, где лежат наши данные, но нам же нравятся котики и шортсы, а где они там и как они там - мы не контролируем. Можно конечно возразить, но подумайте - мы не контролируем как работает операционная система на сервере - мы её мониторим. Мы можем выключить "вилку из розетки", но это не контроль - это иллюзия власти. Сам же интернет как таковой, как глобальная сеть нам не подконтрольна. Но пока она выполняет свою роль с котиками, мы не паримся - не за чем.
Теперь - потеря понимания и контроля над решениями ИИ. Мы не знаем, почему он ответил именно так. И сами создатели до конца не понимают. Можете представить инженера, что спроектировал трактор, а потом всю неделю смотрит как крутится кардан-вал? И я не могу такого уникума представить. А ведь создатели ИИ как раз этим и занимаются - пытаются понять как ИИ думает.
Так что поздравляю! Мы перестали контролировать мир вещей, когда они стали невидимыми для понимания. Не когда стали сложными, а когда перестали быть обозримыми для одного человека.
Еще в 1930-х Освальд Шпенглер уже писал: человек, властелин мира, сам стал рабом машин. Техника вовлекает всех нас, помимо нашего желания, в свой бег, подчиняет собственному ритму. И в этой бешеной гонке человек, считающий себя властелином, будет загнан насмерть. Это было почти 100 лет назад!
Что дальше?
Сейчас мы стоим на пороге нового этапа.
В 2026 году The Millennium Project выпустил доклад, где 55 экспертов обсуждают будущее AGI. Вывод: либо мы создадим систему, которая поможет человечеству совершить величайший прорыв, либо мы будем оставлены позади, как неандертальцы.
Стюарт Рассел, автор главного учебника по ИИ, предупреждает: неспособность решить проблемы управления AGI до создания систем станет фатальной ошибкой для человеческой цивилизации.
Есть несколько сценариев.
Первый - рекурсивное самосовершенствование. В 1960-х Ирвинг Гуд: когда машина сможет создавать более мощные машины без помощи человека, произойдёт "взрыв интеллекта". И это уже начинается. Anthropic заявляет: 80% кода в их продакшене уже пишет ИИ под контролем человека. А в начале 2025-го этот показатель был меньше 5%. ИИ уже редактирует свой код. И делает это всё лучше.
Второй - мультиагентные системы. Не один сверхмозг, а сети специализированных агентов, которые работают вместе. Как человеческая организация, только в миллиард раз быстрее.
Третий - возвращение к человеческому. Джозеф Перла: после того, как ИИ возьмёт на себя рутину, люди вернутся к тому, что делает нас людьми - к простой жизни. Машины делают скучную работу, а люди занимаются тем, что приносит смысл.
Что это значит
Мы стоим на пороге эпохи, где контроль окончательно уйдет. Не потому, что ИИ станет злым, а потому что он окончательно станет слишком сложным для нашего понимания. Как микропроцессор, как интернет, как электричество когда-то.
К чему эта мысль?
К тому, что мы радостно прыгаем от счастья, когда то, что мы не контролируем, создает то, что создает не контролируемое, для задач, которые мы смутно представляем.
И нет, я - не неолуддит. Выше - просто тень мысли.
· вчера
Разделю контроль и ответственность - у вас они склеены. Контроль над электричеством мы правда потеряли, а ответственность за него нет: есть человек, который подписал проект подстанции, и его спросят, когда сгорит. С ИИ будет так же, понимать, как он думает, не будем, но под каждым его необратимым действием будет стоять чьё-то имя. Иллюзия не в контроле, а в надежде, что вместе с контролем исчезнет и ответственность.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· вчера
Причина "склейки" банальна до безобразия: ограничение объема в 4096 символов - пришлось резать черновик поста :)
Я полностью согласен с Вашей финальной мыслью "в надежде, что вместе с контролем исчезнет и ответственность"!
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён