Статья на vc.ru

https://vc.ru/id6112515/3167949-sozdanie-lokalnogo-inference-stack-dlya-llm-na-rtx-3060

Там больше подробностей.