Ликбез. Про контекстное окно ИИ.
Папка с данными это хорошо, но как она обрабатывается моделью?
В описаниях моделей встречаются числа: 32K, 128K, 200K, миллион. Это размер контекстного окна. И здесь есть небольшая подстава: K означает тысячи токенов, а не килобайты. Мы уже разбирали, что токены - кусочки, на которые модель делит текст.
Для понимания: 100 тысяч токенов русского текста - это очень примерно 100-200 страниц, или 300-700 КБ обычного текстового файла, в зависимости от текста и способа его нарезки. Миллион токенов - несколько толстых книг, которые на диске займут всего несколько мегабайт.
Почему же машина, требующая десятки гигабайт оперативной памяти, получает ограничение размером с какую-то несчастную книжку?
Потому что контекст надо не просто хранить. Модель использует его при построении ответа. Условие на третьей странице может определять смысл вопроса на сто сорок седьмой. Между ними еще полторы сотни страниц, где что-то обещают, отказываются от обязательств и ссылаются на приложение, которое вам забыли прислать.
Вот весь доступный модели материал для текущего ответа и называется контекстом. А контекстное окно - предел того, сколько такого материала она может учитывать за один раз.
Знания, полученные при обучении, здесь не считаются. Они уже отразились в параметрах модели. Можно знать русский язык и английскую классическую литературу, но для ответа на вопрос «почему он ее бросил?» все равно надо выяснить, кто, кого и не идет ли речь о гранате. Эти подробности модель получает из контекста.
Место занимают не только ваши сообщения. Туда же идут служебные инструкции, предыдущие ответы, содержимое документов, результаты поиска. Модель пишет продолжение, и каждый новый токен тоже добавляется к последовательности. Поэтому в общий размер окна обычно должны поместиться и исходные материалы, и ответ.
Но большое окно еще не означает, что модель одинаково хорошо использует все его содержимое. Факт может затеряться, похожие условия - перепутаться, существенная оговорка - остаться без внимания. Принять двести страниц и правильно связать все написанное на них - разные достижения.
Поэтому размер контекстного окна полезно знать, но это ничего не говорит о характеристиках модели. Зато еще как влияет на требования. Чем длиннее контекст, тем больше памяти нужно для работы с ним и тем больше вычислений приходится делать. Причем в обычном механизме внимания при обработке входного текста удвоение длины дает примерно вчетверо больше работы по сопоставлению его частей.
Вам тоже можно положить на стол всю возможную документацию. Иногда вы даже найдете в ней нужный вам ответ.
В этом посте были ссылки, но мы их удалили по правилам Сетки
