Сегодня ребята из лабы MIT CSAIL дропнули статью о том, что LLM могут осознанно менять веса моделей. Это назвали Weight-Space Programming.

https://rikiyat.github.io/blog/weight-space-programming/

Новое направление действительно перспективное.

Основное достижение в том, что у Qwen3.5-0.8B смогли значительно поднять способности в математике точечным исправлением 0.016% весов. Но есть нюансик... Исходная модель зацикливалась в 93% случаев. Это означает, что GPT6-Astra исправила только один блокирующий недочет. В другом эксперименте с Gemma3-0.27B, у которой вместо одного недочета был комплекс проблем, Astra не справилась.

Вывод: текущее редактирование весов может убрать препятствие, скрывавшее уже имеющуюся способность, но не может добавить способность, которой у модели не было.

Всего авторы провели 8 экспериментов: - Обучали несколько небольших моделей с одинаковой архитектурой играть в разные игры, рисовать разные картинки, писать на разных языках, и GPT6-Astra только лишь по списку весов смогла определить какая модель, что делает. - Astra генерировала веса моделей с нуля без обучения. - Astra напрямую изменяла часть весов моделей, тем самым исправляя в них какие-то недочеты.

Вообще, обобщающая способность LLM просто поражает. Т.е. модель научилась интерпретировать веса нейронок, что для человека является непостижимым.