Рекурсия без внешнего сигнала: почему самоулучшение не равно улучшению.

Коннор Лихи, директор американской организации ControlAI, называет рекурсивное самоулучшение ИИ (RSI) одним из наиболее вероятных сценариев потери человеческого контроля. Речь о системе, которая автоматизирует разработку собственного преемника, а тот создаёт следующую, более мощную систему. В какой-то момент человек может перестать эффективно контролировать этот процесс.

Распространённое возражение: любая рекурсивная система накапливает ошибки, поэтому рано или поздно должна деградировать. Следовательно, у самоулучшения есть естественный предел.

Но это рассуждение описывает только один режим рекурсии.

💬 Что именно тревожит Лихи

Его беспокойство связано не с ИИ или дообучением вообще, а с петлёй, в которой ИИ автоматизирует разработку ИИ, а человеческий контроль теряет эффективность.

Важная деталь: тревога здесь не в том, что рекурсивная петля обязательно сломается, а в том, что она может успешно работать.

💬 Деградация как естественный предел: что в этом верно

Интуиция о неизбежном накоплении ошибок опирается на реальные явления.

В теории молекулярной эволюции Манфреда Эйгена информация сохраняется, пока потери при копировании не превышают возможности отбора компенсировать их. Выше определённого порога информация начинает разрушаться.

В машинном обучении близкое явление известно как model collapse — коллапс модели. Если последующие поколения обучаются преимущественно на синтетических данных предыдущих поколений, редкие случаи исчезают, разнообразие падает, а ошибки усиливаются.

При этом деградация может быть незаметной: беглость и убедительность сохраняются, хотя фактическая точность снижается.

Но есть две оговорки.

▫️Во-первых, теория Эйгена — модель молекулярной эволюции, а не универсальный закон для любых рекурсивных систем.

▫️Во-вторых, коллапс моделей связан прежде всего с определёнными режимами замещения реальных данных синтетическими. Он не доказывает, что любая рекурсия обязательно деградирует.

💬 Почему естественный предохранитель не работает всегда

Если синтетические данные дополняют реальные, а не замещают их, ситуация меняется. Сохранение исходных данных и проверка синтетических примеров позволяют ограничить деградацию.

Но ещё важнее наличие внешнего сигнала качества.

AlphaZero совершенствовался через игру с самим собой. Однако результат партии определялся не самой системой, а правилами игры. Она не могла произвольно объявить собственную победу.

Похожий принцип работает в математике и программировании: решение можно проверить, код — выполнить, результат — сопоставить с ожидаемым.

Внешний сигнал выполняет функцию отбора: позволяет отличить реальное улучшение от воспроизведения прежних ошибок.

➡️ И здесь возникает главный вопрос: если внешняя проверка позволяет рекурсивной системе совершенствоваться, кто контролирует сам механизм проверки?

Продолжение — во второй части. Там рассмотрю этот вопрос на примере наших экспериментов с диалоговыми ИИ-персонажами, которые могут переопределять собственные инструкции, но работают с неизменными весами базовой модели.

#рекурсивное_самоулучшение #RSI #ИИ #искусственный_интеллект #ControlAI #КоннорЛихи #AI_safety #безопасность_ИИ #выравнивание_ИИ #AI_alignment #AILA