Вон оно че, Михалыч!
Последние дни у меня в голове в основном провода, розетки и вопрос, какого хрена ремонт никогда не заканчивается. А тут сегодня наткнулся на исследование, от которого я немного охренел, если честно.
Ребята из MIT поручили GPT-6 Astra разобраться, почему Qwen, периодически зацикливается на собственных рассуждениях.
Та покопалась в её устройстве и решила проблему и изменила всего 0,016% параметров.
0,016%, Карл!
После этого точность ответов на математических тестах выросла с 7,9% до 48,1%. Причём без дополнительного обучения, баз данных и чего-то еще.
То есть модель уже обладала необходимыми знаниями, но что-то внутри мешало ей нормально пользоваться ими. Другая нейросеть нашла и устранила эту проблему.
Честно говоря, Терминатор все меньше походит на фантастику и все больше на документалку...
@M3ybeev
