Оказывается вот почему 2000 серия лучше для нейросетей: Тензорные ядра (Tensor Cores) впервые появились в видеокартах NVIDIA Volta (2017 год) и с тех пор присутствуют во всех последующих архитектурах. А в 1080 просто нет этих ядер. — Разобрался и попробовал другие сети. llama-3.3-70b-instruct - вообще не захотела работать mistral-nemo-instruct-2407 - 16,36 tok/sec - работает быстро. Но рерайт получися так себе. qwen3-32b - 1,89 tok/sec - думает думает... самый медленный вариант. deepseek-r1-distill-llama-8b - 20.04 tok/sec - вот эот вариант уже хороший как по скорости, так и по результату! gemma-2-2b-it - 47.29 tok/sec - скорость шикарная. Результат на 3+

(радуйся Ребёнок! Не буду просить у тебя поюзать твою 2060! :) — Подумал: а почему бы не дать гигов так 50 озу под видеокарту? Но это не так просто сделать. Да, понимаю, что это будет медленно, но можно попробовать большую сеточку. —

P.S. Offtop: ДипСик продираясь через иероглифы объявил себя Игорем.

Оказывается вот почему 2000 серия лучше для нейросетей: Тензорные ядра (Tensor Cores) впервые появились в видеокартах NVIDIA Volta (2017 год) и с тех пор присутствуют во всех последующих архитектурах | Сетка — новая социальная сеть от hh.ru Оказывается вот почему 2000 серия лучше для нейросетей: Тензорные ядра (Tensor Cores) впервые появились в видеокартах NVIDIA Volta (2017 год) и с тех пор присутствуют во всех последующих архитектурах | Сетка — новая социальная сеть от hh.ru
repost

195

input message

напишите коммент

У меня ллама на 2060 чот вообще не захотела работать, никакая. Квен тоже. Я уже подумал проблема в том что она 6Гб. А у вас сколько памяти?

ответить

8 на 1080 и 6 на 1650 Но сейчас сижу на 1080

ответить

еще контент в этом сообществе

еще контент в этом соообществе

войдите, чтобы увидеть

и подписаться на интересных профи

в приложении больше возможностей

пока в веб-версии есть не всё — мы вовсю работаем над ней

сетка — cоциальная сеть для нетворкинга от hh.ru

пересекайтесь с теми, кто повлияет на ваш профессиональный путь