При дообучении чат-модель часто не учат повторять вопрос
В instruction tuning пример выглядит как единая цепочка: инструкция пользователя + ответ ассистента. Модель видит обе части, но ошибка обучения обычно считается только на токенах ответа. Токены вопроса закрывают маской loss: они нужны как контекст, однако за их предсказание модель не получает ни штрафа, ни награды.
Зачем? Иначе модель тратила бы обучение ещё и на воспроизведение пользовательских реплик, хотя её задача — отвечать на них. Важно не путать loss mask с attention mask: первая исключает токены из расчёта ошибки, вторая управляет тем, что модель может учитывать.
· 29.10
Для проверки такого пайплайна я бы вывел один учебный пример уже после токенизации: где заканчивается вопрос и на каких позициях считается loss. Особенно интересно проверить многоходовой диалог: вы включаете в обучение все ответы ассистента или только последний?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён