arrow

назад

ask

Вопрос

Привет! Пользуетесь ли вы автономными локальными LLM? Если да то какие из них более мощные? 🤔

repost

73

input message

напишите коммент


4 коммента

Все зависит от вашего оборудования. Наличие/отсутствие карт с GPU. Размер видео памяти, также размер памяти оперативной. Сейчас вышло несколько хороших моделей, но для нормальной, вменяемой работы нужно от 16-32 GB памяти на GPU + 64-... CPU

0

ответить

Да я немного знаком с этим. Спасибо буду учитывать это. :)

0

ответить

Лучше смотреть в сторону APU старо как мир гда память у всех одна Unifide , тут выигрывают маки и всякие ARM но памяти надо много.

А так же видео ограничена своим VRAM , а при гибридах нет, потери как показала практика не столь большие

0

ответить

Ну, сейчас китайцы разрабатывают свои системы обучения ИИ, карты с их чипами стоят гораздо дешевле, но с софтом от NVIDIA не работают. AMD активно включилась в гонку и дышит в затылок NVIDIA - конкуренция увеличивается, что для нас хорошо. Уходит монополизм.

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится