Очень интересный эксперимент провели над GPT‑6 Astra. Одна из маленьких моделей Qwen очень сильно тупила, уходя в цикл при решении математических задач. И вот Астру отправили разобраться, в чем там дело и вправить мозги глупой модельке.

В ходе работы она исследовала веса и нашла те, что связанны с этим сбоем. После чего изменила их. Совсееем чуть-чуть, 0,016% от общего количества. После этой правки результат Qwen на MATH‑500 вырос с 7,9% до 48,1%. В шесть раз.

Видимо не за горами тот момент, когда модель в цикле сможет править и собственные веса, в том числе.