🚀 Ray Data ускорил обработку AI-данных

Ray Data представил крупные обновления для масштабной обработки AI-нагрузок.

Библиотека получила поддержку MCAP для робототехники, выражения для загрузки файлов и интеграцию с vLLM/SGLang. Появились columnar expressions — вместо UDFs, что позволило включить pushdown-оптимизации. Hash-shuffle стал стандартом, ускорив агрегации в 7 раз.

На тестах обработка изображений ускорилась в 2 раза, расчёт квантилей — в 4.8 раз. Чтение Parquet из 10k+ файлов стало быстрее в 3 раза. Добавлена поддержка Unity Catalog с политиками доступа.

#ray_data #ai_data #distributed_computing #mcap #vllm #optimization