🧠 Как мы нашли утечку памяти в vLLM

Команда Mistral AI обнаружила утечку памяти в vLLM при использовании disaggregated serving.

Утечка в 400 МБ/мин возникала только в сложной конфигурации: модель Mistral Medium 3.1, Prefill/Decode separation с NIXL и включённой компиляцией графа. Стандартные профайлеры (Memray, Guppy3, Heaptrack) не показали проблем — утечка была вне кучи. Анализ через pmap выявил рост анонимных отображений памяти. Дальнейшее исследование с BPFtrace и автоматизированным GDB показало, что системные вызовы mmap инициируются не напрямую, а через хуки UCX — библиотеки для высокопроизводительной коммуникации. UCX перехватывает все mmap через GOT и добавляет память в очередь регистрации (RCache), которая не очищалась из-за отсутствия ucp_worker_progress().

Проблема решена: отключение хуков через UCX_MEM_MMAP_HOOK_MODE=none устранило утечку. Также поможет ограничение UCX_RCACHE_MAX_UNRELEASED. Исправление уже в vLLM.

#memory_leak #vllm #debugging #ucx #bpftrace #mmap