Ликбез. Про параметры ИИ-моделей.
Мне задали вопрос - что значит «подкрутили модель» в посте про обучение.
Допустим, после «мама мыла» модель оценила продолжения так: «рама» - 20%, «пол» - 15%, «ракета» - 40% и хвост из пары тысяч других вариантов, включая מִסגֶרֶת. А в учебном тексте написано «рама». Значит, задача - понять, как так получилось и что сделать, чтобы в следующий раз в похожей ситуации вероятность рамы стала чуть выше, а ракеты - ниже.
Представим модель как облако из десятков или сотен тысяч токенов, между которыми существует чудовищное количество возможных связей. В самом начале обучения там почти шум: условный коэффициент всех связей для нашего примера равен единице.
Теперь для простоты представим каждую такую связь как путь со своим условным коэффициентом.
Ставим задачу: мама мыла → раму.
Раунд 1: модель выбрала «инфузорию». Неверно. Коэффициент немного меняется так, чтобы этот путь стал слабее. Условно 0,8.
Раунд 2: модель выбрала «машину» - опять промах, машина стала 0,8.
Раунд 3: модель выбрала «раму» - попала. Путь, приведший к раме, наоборот, стоит усилить, коэффициент становится 1,2.
Но следующий учебный текст может оказаться «мама мыла машину». Еще следующий - «мама мыла раму губкой». Поэтому модель не может просто запомнить «рама хорошо, машина плохо». Миллионы сочетаний накладываются друг на друга, и после каждого нового примера приходится совсем немного поправлять всю эту картину так, чтобы усилить нужные пути и при этом не сломать то, чему модель уже научилась.
Вот теперь можно объяснить, что именно мы называем параметром. В настоящей модели нет отдельного провода «мама мыла → раму» с написанным на нем коэффициентом 1,2. Такие условные связи получаются совместной работой огромного количества параметров. Параметр - это одно из миллиардов чисел, которые определяют, насколько сильно один промежуточный результат внутри модели повлияет на следующий. Меняя эти числа, мы понемногу меняем всю карту возможных продолжений.
Чем больше таких параметров вы можете крутить в модели - тем она способнее и тем быстрее приближает тепловую смерть вселенной.
