🚀 Ray Direct Transport: RDMA в ядре Ray
Ray представил Direct Transport для ускорения передачи тензоров между GPU.
RDT использует RDMA-механизмы (например, NVLink, Infiniband) для прямой передачи данных между GPU, минуя CPU и стандартное хранилище объектов Ray. Поддерживаются библиотеки NCCL, NIXL и Gloo. Передача активируется декоратором @ray.method(tensor_transport="nixl") — это позволяет обмениваться тензорами напрямую между акторами Ray, избегая копирования в память CPU. Особенно полезно для RL с LLM, где часто синхронизируются веса между узлами.
На тестах — до 2.3x ускорение обучения при синхронизации весов на B200.
