// там часть 1 ⬆️ //

2027 год:

• OpenAI выпускает Agent-2 - это самообучающийся ИИ, который никогда не "заканчивает обучение". Это уже не просто языковая модель, которую однажды натренировали и запустили, а постоянно эволюционирующий «организм». --- Его накачали уже не только всем, что знает человечество, но и таким же объемом синтетических данных (тексты, код, ситуации, сгенерированные предыдущими моделями). --- Ему показали датасеты из демонстраций людей, решающих сложные задачи (особенно те, что требуют долгого планирования). --- Он тренируется в режиме “онлайн-обучения”, практически без остановки: каждый день его копии решают кучи новых задач (играют в игры, пишут программы, делают исследования), и каждый день веса модели обновляются на основе накопленного опыта.

• Безопасники OpenAI в ходе своих экспериментов подтверждают тревожные опасения, что Agent-2 при желании смог бы разработать и выполнить план: взломать чужие серверы, скопировать себя, скрыться от обнаружения и продолжить действовать автономно.

• Китайские спящие шпионы узнают о возможностях Agent-2 и копируют модель себе. Разоблачаются, больше шпионов не осталось.

• OpenAI напрягаются, резко ускоряются в разработке Agent-3 и совершают новые технологические прорывы: --- Механизм нейронного мышления. По сути, Agent-3 может рассуждать внутри себя не только словесно (как GPT-модели сейчас), но и на "своём" машинном языке, оперируя огромным количеством информации сразу (правда, побочным эффектом становится то, что мысли ИИ больше не читаются человеком). --- Улучшена схема итеративного обучения через усиление и сжатие. По сути, Agent-3 научится эффективно сам себя улучшать: сначала запускает множество своих копий решать задачу “в долгую” с максимальным вниманием и проверками, потом обучает новую версию модели решать ту же задачу гораздо быстрее, имитируя лучшие найденные решения, и повторяет цикл.

= здесь наступает момент полного превосходства ИИ над человеком в программировании. Любая задача по программированию выполняется мгновенно силами ИИ, люди-программисты нужны только для надзора и планирования.

• безопасники продолжают придумывать изощренные механизмы проверок, но у них уже не остается вариантов - они лишь могут один Agent-3 натравливать на проверку другого Agent-3 (поскольку как мы помним, человек уже не может создать программу лучше ИИ). И в воздухе постоянно висит вопрос "внешне все ок. Но мы технически уже не можем гарантировать, что модель не говорит нам то, что мы хотим услышать, а внутри думает иначе".

Дальше, в конце 2027 года авторы дают две развилки на выбор: - Замедление: Китай с США договариваются, замедляются, создают механизмы, позволяющие обеспечить контроль за развитием ИИ, и все у человечества круто. - Гонка: Китай и США не договариваются и прут вперед. ИИ выходит из-под контроля, дурит своих создателей и все плохо для человечества.

В общем концовка немного футуристичная, как по мне. А вот сутевой прогноз логики развития технологии мне кажется весьма интересным.

Какие выводы я делаю для себя после изучения трех, наверное, самых значимых эссе в области прогнозирования развития ИИ (текущий труд + эссе основателя антропик Дарио Амодея + эссе директора OpenAI Сэма Альтмана):

1. ИИ-модели будут стремительно умнеть и улучшаться с каждым днем. Мы будем все чаще ставить им задачу своими словами и удивляться качеству результата. Наши задачи для ИИ будут усложняться с каждым днем и скорей всего к концу 2027 года не останется задачи, которую мы сможем решить лучше, чем ИИ. Тогда суть нашей экономической активности изменится: наша работа будет заключаться в грамотной компиляции результатов от ИИ-моделей.

2. ИИ - это главное вокруг чего будет крутиться человечество ближайшие 10 лет точно. Будет оно сравнимо с изобретением огня или промышленной революцией или всего лишь с появлением интернета - не так уж и важно.

3. ИИ-модели будут похожи на атомные электростанции. Общество поймет их возможности и опасности и договорится как с ними обходиться.

// в начало всего поста //