15 октября NVIDIA выпустила модель на 74 млрд параметров, которая помещается в 24 ГБ. Ее делали для агентов, которые работают прямо на компьютере пользователя.

Облачная нейросеть вроде ChatGPT или Claude Code работает на серверах компании. Документ, который ты вставляешь в чат, уходит на эти серверы.

Локальная нейросеть лежит на твоем диске и считает на твоем компьютере. Если вся обработка идет там, документ никуда не уходит. Зато возможности ограничены памятью и видеокартой.

Зачем своя модель? В сентябре hh и Контур.Эгида опросили 3 068 соискателей. Из тех, кто использует нейросети в работе, 77,1% назвали ChatGPT, Claude или DeepSeek. Корпоративный ИИ от работодателя назвали 8,4%. Но расшифровку встречи с фамилиями или договор с суммами в публичный чат отдавать нельзя.

В новости про NVIDIA три непонятных слова. Параметры. Это размер модели: 12B значит 12 млрд параметров. Чем их больше, тем модель обычно умнее и тяжелее.

Сжатие. Как JPEG для фотографии: числа внутри модели хранят грубее. Файл становится в разы меньше, а качество немного падает. NVIDIA сжала часть чисел до 2 бит, остальные до 4 и 8.

Память. Модель должна поместиться в нее целиком вместе с твоим документом. Ориентир по оперативной памяти такой. На 8 ГБ влезают только маленькие модели, на 16 ГБ модели около 12 млрд параметров. Модели NVIDIA нужно до 24 ГБ видеопамяти вместе с длинным документом.

Что важно знать сейчас. Не все в программах для локальных моделей работает локально. В каталоге Ollama, программы для запуска моделей у себя, давно лежат и облачные. В их названии есть слово cloud. Но название не гарантия: веб-поиск в Ollama тоже облачный. Для документов с именами и суммами у нее есть режим "только локально".

Копий больше, чем оригиналов. Через четыре дня после выхода модели NVIDIA на Hugging Face Hub (репозиторий ИИ‑моделей) нашлось 65 ее версий. От самой NVIDIA пять. Среди остальных есть "взломанные" без ограничений. Скачивать стоит с официальной страницы разработчика, а не первую попавшуюся версию.

Ноутбуки дорожают. Из-за дефицита памяти часть производителей снова выпускает модели с 8 ГБ, пишет CNews 13 октября. Для локальной модели это мало.

Компактная модель на ноутбуке пока не заменит мощную облачную в сложных задачах. Но документы с именами и суммами можно разбирать у себя. А в облако отправлять только то, что и так разрешено отдавать наружу.

Пример. 13 октября Liquid AI выпустила модель LFM2.5 на 24 млрд параметров. Компания замерила скорость на чипе Apple M5 Max, как в MacBook Pro: 184 токена в секунду. Токены это фрагменты текста. Но перед ответом модель читает документ и рассуждает, на это тоже уходит время. Русский она понимает.

Насколько она слабее облака? Есть тест GPQA Diamond со сложными вопросами по естественным наукам. У нее там 74%, по данным разработчиков. У лучших облачных моделей сейчас от 94 до 96%. Это лишь ориентир: условия замеров разные. Зато в точном выполнении инструкций она по тем же данным обходит более крупные открытые модели. Поэтому ей лучше давать твои материалы и четкую задачу. Например, свести расшифровку встречи в протокол или проверить договор по чек-листу.

Разобрать это на своих задачах можно здесь: https://ineverov.ru/index.html#club

#ИИ #локальныйИИ #нейросети #аналитика #АналитикНаБалтике #it

Ваш Аналитик на Балтике 🌊