Программирование нейросетей без обучения
Исследователи из MIT дали GPT-6 Astra задачу исправить маленькую Qwen, которая постоянно зацикливалась в рассуждениях.
Astra исследовала её поведение, и за 50 итеративных подходов к снаряду нашла проблемные участки в весах и напрямую их отредактировала. Не через fine-tuning, не через градиентный спуск, а буквально переписав числовые параметры как есть
Изменилось всего 0,016% весов, а результат на MATH-500 вырос с 7,9% до 48,1%
Еще раз, модель не приобрела новые свойства, у нее были исправлены ошибки, которые вызывали зацикливания, не давая сделать задачу до конца
