Нейросеть открыли как обычный файл, поправили в ней 0,016% чисел, и она стала решать математику в шесть раз лучше. Без обучения. Правку сделала другая нейросеть.

Это из свежего блога MIT CSAIL, 2 ноября. Авторы называют это weight-space programming, программирование прямо в весах.

Немного контекста. Веса это и есть модель. Сотни миллионов чисел, которые обычно никто руками не трогает: их подбирает обучение, шаг за шагом. Смотреть на них глазами примерно как читать бинарник в hex-редакторе. Ну я так думал.

Первая история. Взяли маленькую Qwen3.5-0.8B, у неё 7,9% на MATH-500. Модели GPT-6 Astra дали Python с загруженными весами, задачки для проб и ограниченное число прогонов. Обучать запретили. Astra заметила, что Qwen просто зацикливается: крутит один и тот же текст до лимита в 32 768 токенов и до ответа не доходит. Так заканчивались 85 из первых 96 пробных решений. Она нашла одно направление в MLP слоёв 15 и 19, которое отвечает за эти петли, и вычла его. Изменено 131 072 числа из 0,8 миллиарда. Итог 48,1% на MATH-500. И бонусом следование инструкциям (IFEval) выросло с 21% до 62,3%, потому что петли мешали не только в математике.

Вторая история мне нравится даже больше. Сеть, обученная через PPO на миллиард шагов, водит машинку в симуляторе Kinetix. Чтобы заехать на рампу, надо сначала сдать назад и разогнаться. Сеть так и не научилась, упирается и встаёт, 0 успехов из 256. Astra получила веса, описание сцены и одну запись неудачи. С одной попытки, без инструментов, дописала в сеть маленький обходной путь: пока колесо не проехало красную полосу, едем назад, дальше рулит старая сеть. Поменяно 3,5% весов. 1024 успеха из 1024.

Теперь честная часть, которую авторы сами показали. Тот же трюк на Gemma 3 270M не сработал: 6,8% было, после правок максимум 7,7%. Gemma почти не зацикливается, она просто ошибается в арифметике и алгебре. Вывод у авторов прямой: правкой можно убрать препятствие, которое прятало умение, но добавить умение, которого нет, не получилось.

Кто запускал мелкие модели локально, наверняка видел эти бесконечные «размышления». Обычно это списывают на то, что модель маленькая и глупая. А тут оказалось, что это одна конкретная поломка, которую можно найти и вырезать.

И вот что не даёт покоя. Если модель может так залезть в чужие веса, следующий шаг очевиден: в свои. Вы бы доверили прод модели, которую отредактировала другая модель, и никто из людей до конца не понимает, что именно поменялось?