09.05
Оказывается вот почему 2000 серия лучше для нейросетей: Тензорные ядра (Tensor Cores) впервые появились в видеокартах NVIDIA Volta (2017 год) и с тех пор присутствуют во всех последующих архитектурах. А в 1080 просто нет этих ядер. — Разобрался и попробовал другие сети. llama-3.3-70b-instruct - вообще не захотела работать mistral-nemo-instruct-2407 - 16,36 tok/sec - работает быстро. Но рерайт получися так себе. qwen3-32b - 1,89 tok/sec - думает думает... самый медленный вариант. deepseek-r1-distill-llama-8b - 20.04 tok/sec - вот эот вариант уже хороший как по скорости, так и по результату! gemma-2-2b-it - 47.29 tok/sec - скорость шикарная. Результат на 3+
(радуйся Ребёнок! Не буду просить у тебя поюзать твою 2060! :) — Подумал: а почему бы не дать гигов так 50 озу под видеокарту? Но это не так просто сделать. Да, понимаю, что это будет медленно, но можно попробовать большую сеточку. —
P.S. Offtop: ДипСик продираясь через иероглифы объявил себя Игорем.
· 09.05
У меня ллама на 2060 чот вообще не захотела работать, никакая. Квен тоже. Я уже подумал проблема в том что она 6Гб. А у вас сколько памяти?
ответить
еще контент в этом сообществе
еще контент в этом соообществе
09.05
войдите, чтобы увидеть
и подписаться на интересных профи