Ликбез. Про локальные и облачные модели.
Здесь все просто. Облачная модель работает где-то там. Вы отправляете вопрос, там считают ответ и присылают обратно. Локальная делает то же самое на вашем оборудовании. Принцип работы тот же, просто теперь счет за электричество, шум вентилятора и разочарование полностью ваши.
Сама модель может быть одинаковой: некоторые можно скачать домой или пользоваться ими через интернет. От смены адреса интеллект не меняется, а вот удобство - да.
Первое ограничение дома - память. Миллиарды параметров, о которых мы уже говорили, надо куда-то загрузить. При хранении по четыре бита на параметр модель на 8 миллиардов займет примерно 4 ГБ, на 30 - 15 ГБ, на 70 - 35 ГБ. Это только сами числа. Для контекста и вычислений нужно дополнительное место. Игрушки тоже просят оставить им угол.
Четыре бита - уже экономия. Обычно каждый параметр хранится в 16 битах, и сами числа займут вчетверо больше памяти: для модели на 70 миллиардов - уже 140 ГБ вместо 35. Поэтому точность чисел уменьшают. Это называется квантованием. Умеренное округление часто переносится вполне прилично, слишком сильное начинает портить ответы. Да, можно упаковать специалиста покомпактнее, но вайбы Северной столицы мы не одобряем.
Второе ограничение - скорость. На каждом шаге генерации нужно проделывать вычисления с параметрами. Важны и мощность процессора или видеокарты, и скорость памяти. Поэтому «модель запускается» и «моделью удобно пользоваться» - разные характеристики. Если ответ приходит завтра, формально это все еще искусственный интеллект, powered by Russian post.
Третье - контекст. Длинная переписка и большие документы требуют дополнительной памяти и вычислений. Модель может бодро обсудить ужин, но после загрузки крысетописи с друзьями - вы еще не начнете этот ужин готовить, а она уже забудет курица или рыба.
В облаке можно разместить гораздо более тяжелую модель, чем дома. Не обязательно лучшую для любого вопроса, но более универсальную. Специализированные локальные модели немного облегчают жизнь, но все равно полного равенства не добиться.
У меня на компе работают 6 локальных моделей. Они умеют делать тексты, код, видео и картинки. Выбери любое один.
И еще: модель и готовый сервис - разные вещи. Поиск, чтение файлов, память между разговорами, запуск программ обеспечиваются окружающим приложением. Скачав модель, вы получили мозг. Приложить к нему остального червяка предстоит вам.
Зато локально можно работать без интернета и не отправлять документы провайдеру модели, если само приложение ничего никуда не пересылает. Нет его лимитов и риска, что завтра привычную модель уберут из меню.
Облако позволяет платить за готовое хозяйство. Локальный запуск дает больше контроля и отопление (вайбы Нидерландов би лайк).
