⚡ Автоскейлинг LLM с Ray и ROCm 7.0.0

AMD представила решение для масштабирования инференса LLM на своих GPU.

Решение объединяет Ray Serve с vLLM, ROCm 7.0.0 и SkyPilot. Ray Serve управляет числом реп

читать далее
⚡ Автоскейлинг LLM с Ray и ROCm 7.0.0
AMD представила решение для масштабирования инференса LLM на своих GPU.
Решение объединяет Ray Serve с vLLM, ROCm 7.0.0 и SkyPilot | Сетка — социальная сеть от hh.ru