LLM теперь могут программировать веса нейросетей

Исследователи представили концепцию Weight-Space Programming. Оказалось, что передовые модели (в частности, Astra) способны напрямую читать и редактировать веса других нейросетей без использования градиентного спуска или циклов обучения.

Что удалось реализовать: • Анализ поведения: Astra может определить, для какой игры была обучена сеть, просто изучив массив её весов. • Исправление ошибок: модель обнаружила причину зацикливания рассуждений в Qwen3.5-0.8B и исправила всего 0.016% весов, что подняло точность в MATH-500 с 7.9% до 48.1%. • Создание с нуля: LLM пишет веса для небольших игровых сетей, которые обходят модели, обученные через PPO в течение 100 млн шагов.

Это меняет парадигму оптимизации: вместо символических алгоритмов вроде Adam, мы переходим к рассуждающим моделям, которые понимают внутреннюю структуру весов.

Наблюдаем дальше...