Учёные показали, как Astra исправляет другие нейросети без переобучения
Исследователи из США попросили GPT-6 Astra разобраться в весах других нейросетей и изменить их под конкретные задачи.
В одном из экспериментов Astra исправила зацикливание ответов у Qwen3.5-0.8B, изменив всего 0.016% весов. После этого результат на математическом тесте MATH-500 вырос с 7.9% до 48.1%, а на проверке следования инструкциям IFEval с 21% до 62,3%. Переобучения не было, Astra проверяла изменения, запуская модель на тренировочных задачах. Для достижения лучшего результата понадобилось 50 таких запусков.
В других опытах Astra определяла по весам, для какой игры обучали небольшую сеть, и создавала игровые нейросети с нуля. В трёх тестовых играх они обошли нейросети, прошедшие специальное обучение.
Хороший результат получается не всегда. Например, с Gemma 3, допускавшей ошибки в арифметике и рассуждениях, метод не сработал.
· 11 ч
Рост на MATH-500 с 7.9% до 48.1% впечатляет, но 50 запусков на подбор и провал на Gemma 3 говорят, что до рабочего метода ещё далеко.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён