Аналогично, был радеон, не смог. Взял нвидиа, получилось запустить. Пробовал разные, норм, но квин пока лидирует (даже малые модели)

Вот играюсь из любопытства) добрался даже до генератора изображений и через LLM локальную можно генерировать любые фотографии. Все локально. Спасибо за Ваш комментарий

Как насчёт контекста? Да и вообще сильно тупит?

Ну квин не тупит. Регулировал температуру подачи материала. В целом достойно. Плюсом просо прикрепил rag файлы, от которых отталкиваться в плане диалога - в целом прямо достойно, на маленькой модели в 8 миллиардов.

И оно только на нвидиа завелась?

Ага, на радеоне читал что можно как то запускать, но у меня была rx580, на ней не смог. На других, более свежих, якобы можно было запустить.

Спасибо) будем значит пробовать)

Хах) класс, именно так я и думал) а чего нет, если да)))) Спасибо)

Ну, я вон пилю хобби-проект. Он денег не приносит. Зато я всем на собесах могу рассказывать 😁 Да и в целом сделать что-то самому с нуля всегда приятно. Дофамин там и все такое 😁

Ооо, я очень волновался запускать свой проект сегодня))) да это тоже круто, дофамин подскочил)) Рад за Вас) перейду посмотрю Ваш проект)