Dynamic VRAM в ComfyUI снижает требования к памяти
В ComfyUI внедрена система Dynamic VRAM, которая уменьшает потребление RAM и устраняет OOM-ошибки, что позволяет запускать крупные модели на ограниченном железе и ускоряет пайплайны.
Механизм основан на ленивой загрузке весов через кастомный аллокатор PyTorch с выделением VRAM по требованию. Веса не копируются полностью в память, а подгружаются в момент вычислений и выгружаются при давлении на ресурсы. Используется виртуальное адресное пространство GPU и file-backed память, что снижает нагрузку на RAM и диск. Это упрощает разработку, убирает ручное управление памятью и расширяет доступность больших diffusion-моделей на потребительских GPU.
🔗 https://blog.comfy.org/p/dynamic-vram-in-comfyui-saving-local
