Небольшой дисклеймер: я уже несколько лет пристально наблюдаю за развитием ИИ с исследовательской и концептуальной точки зрения. Методологически мне близка рационалистская традиция.

Я попробую немного деконструировать этот пост. Не опровергнуть, а сначала понять, какая именно гипотеза в нем сформулирована, потому что за большим количеством понятий ее легко потерять.

Для тех, кто тоже не сразу понял автора, я бы пересказал основную мысль так: раньше человек создавал код и публичное знание, на котором обучался ИИ. Теперь ИИ помогает создавать код, этот код попадает в репозитории и потенциально становится материалом для обучения следующих моделей. Если доля такого материала будет расти, может возникнуть рекурсивный цикл: ИИ все больше учится на результатах предыдущего ИИ, а человек постепенно остается только постановщиком задачи и верификатором. Александр предполагает, что это способно привести к деградации знания.

Но здесь, на мой взгляд, соединены несколько разных проблем.

Первая - снижение производства нового контента на Stack Overflow. Если вместо публичного вопроса человек спрашивает модель, действительно исчезает часть механизма, через который частный опыт становился общедоступным. Но это говорит об изменении конкретного канала накопления знания, а не о прекращении его производства. Опыт продолжает возникать и передаваться через документацию, issues, корпоративные базы, сообщества и другие каналы. Возможно, он становится менее публичным, но это отдельная интересная проблема.

Вторая - синтетические данные. Если результаты работы моделей возвращаются в обучающие наборы следующих моделей, возникает вопрос о рисках рекурсивного обучения, включая model collapse. Но наличие синтетических данных само по себе еще не означает, что их доля неизбежно стремится к 100%, человеческие данные исчезают, а следующая модель просто снимает копию с предыдущей. Для этого нужно понимать, как формируется обучающий набор, как данные отбираются, фильтруются и смешиваются.

Третья проблема гораздо шире: может ли возникнуть замкнутый цикл "ИИ→код→данные→ИИ", внутри которого больше не появляется ничего принципиально нового?

И здесь из схемы выпадает важный элемент - внешний мир.

Код существует не только для того, чтобы попасть на GitHub. Он решает задачи. Возникают новые потребности, меняются требования, появляются ошибки, пользователи взаимодействуют с продуктами, проводятся эксперименты, меняются технологии. Решение сталкивается с реальностью, а результат этого столкновения создает новую информацию.

Поэтому цикл выглядит скорее не как:

ИИ→код→GitHub→ИИ

а как:

Задача→решение→применение→результат→наблюдение→новая задача

ИИ может участвовать в нескольких этапах этого цикла. Но пока система взаимодействует с внешней средой, она не замкнута на собственных предыдущих генерациях.

Отсюда возникает и вопрос о том, что мы вообще называем новым знанием. Если ИИ сгенерировал решение на основе известных данных, а применение показало неизвестный ранее результат, новое знание уже появилось. Его источником стало столкновение решения с реальностью. Человек, к слову, тоже не производит знания из ничего.

Поэтому я бы не собирал Stack Overflow, синтетические данные, сгенерированный ИИ код и model collapse в одну большую "рекурсию знания". Это разные процессы, требующие разных доказательств.

Я вижу, что в исходном рассуждении Александра предмет постоянно меняется: публичный контент превращается в данные, данные в код, код в опыт, опыт в знание, а затем из этого делается вывод о роли человека в производстве нового знания. Если развести эти сущности обратно, остаются несколько действительно интересных вопросов:

Теряем ли мы публичные механизмы накопления опыта? Какие риски создает рост синтетических данных? Что произойдет при дальнейшей передаче ИИ разработки и верификации?

А вот превращаются ли они вместе в замкнутую рекурсию, где человек становится "шумом", - это уже отдельная гипотеза. И для ее проверки сначала придется определить, что именно в этой системе является данными, опытом, знанием и источником нового. Как-то так.