⏺ Ученые Института AIRI, МФТИ и Лондонского математического института (LIMS) провели исследование пределов вместимости современных языковых моделей — какой объем информации они способны эффективно хранить и обрабатывать внутри себя
Обычно текст из 1500 слов может быть трансформирован в 1500 векторов, что требует значительных вычислительных ресурсов как для их хранения, так и обработки. Ученые показали, что всю эту информацию можно уместить в один-единственный вектор, сохраняя исходный текст. Например, книга «Хоббит или Туда и обратно» объемом около 120 тысяч токенов может быть представлена всего в 100–200 векторах, в зависимости от размера модели.
С практической точки зрения сокращение длины входных данных для языковых моделей позволяет значительно уменьшить вычислительные затраты.
@divannyi_it подписаться
