Настоящий RSI и «зажигание»: где проходит граница

Рекурсивное самоулучшение звучит как одно явление, но за этим словом прячутся два разных процесса. Первый - система, которая становится лучше. Второй - система, которая становится лучше в том, как она становится лучше. Почти весь шум последнего месяца путает эти два уровня, и от этого спор кажется громче, чем он есть.

Возьмём то, что реально существует сегодня. AIDE² от Weco за восемь дней сделал семь самостоятельных переписываний своей обвязки, Google опубликовала RRSI, Anthropic говорит, что Claude ведёт 26% её R&D по моделям. Это всё самоулучшение, но улучшается не «мозг», а инструменты вокруг него: промпты, код, способы проверки. Веса модели, то есть её базовые способности, остаются прежними. Это похоже на человека, который каждый день лучше организует свой рабочий стол, но не становится умнее. Полезно, иногда очень полезно, но это не рекурсия в сильном смысле.

Отсюда и понятие «зажигания». Петля зажигается, когда улучшенная версия агента оказывается лучшим улучшателем, чем предыдущая, и каждый следующий шаг даётся легче, а не труднее. Если этого нет, каждое улучшение просто даёт прибавку, которая со временем затухает, как отскоки мяча. Если есть, прибавки складываются, и кривая уходит вверх. Именно здесь проходит граница между «у нас есть инструмент, который сам себя чинит» и тем, чего боятся сторонники моратория. Показательно, что даже Weco честно признаёт: её собственный тест на зажигание дал неоднозначный результат. Как сформулировал @rohanpaul_ai, большинство самоулучшающихся систем «всё ещё не умеют улучшать то, как они улучшаются».

Скептики вроде @greg_travis идут дальше и говорят, что со статистическим выводом это в принципе невозможно. Мне кажется, тут смешаны два утверждения. Что нынешние модели не зажглись, видно по данным. Что они никогда не смогут, пока лишь мнение. Более приземлённые тормоза назвали исследователи у Дваркеша Пателя и комментатор на Hacker News: даже бесконечно много кода не даёт стократной продуктивности, потому что узкое место смещается в эксперименты, вычисления и, в итоге, в деньги. Зажигание требует не только ума, но и топлива.

Так что честный ответ на вопрос «есть ли RSI уже сейчас» звучит так: слабый, на уровне обвязки, есть; сильного, с зажиганием, пока нет, и никто его не продемонстрировал. Рынки, кстати, с этим согласны: Polymarket даёт всего 20% на официальное объявление RSI от OpenAI или Anthropic до конца года. А самый важный практический сигнал, по-моему, не в лабораториях, а в треде r/Futurology: люди уже не успевают проверять код, который пишет ИИ. Зажигание, если оно случится, вряд ли будет похоже на внезапную вспышку. Скорее мы просто однажды заметим, что перестали понимать, кто именно сделал последнее улучшение. 🤖