Почему модели тяготеют к правде?
Модель, это по факту большой компрессор, который в сохраняет информацию в своих весах при обучении. А какие данные хорошо компрессятся? Правильно, согласованные данные. Поэтому эзотерика, теории заговора и тупо ошибки плохо согласуются с общей картиной мира, поэтому, даже когда в обучающем датасете полно мусора (вплоть до 90%), модель все равно выучивает правду
Подробнее об этом написал мой коллега, Костя Крестников, в своем исследовании
В этом посте были ссылки, но мы их удалили по правилам Сетки