Локальные модели на своей видеокарте: что реально работает каждый день, а что скачали, запустили раз и забыли?

LFM3 в 4 битах весит около гигабайта, но авторы сами пишут, что для агентного кодинга она слабовата. Nemotron 3.5 Transcribe от Nvidia с открытыми весами официально просит H100 на 80 ГБ.

Я гоняю через Ollama и LM Studio. А у вас что остаётся в работе?