⚡ Автоскейлинг LLM с Ray и ROCm 7.0.0
AMD представила решение для масштабирования инференса LLM на своих GPU.
Решение объединяет Ray Serve с vLLM, ROCm 7.0.0 и SkyPilot. Ray Serve управляет числом реп
читать далееможете перейти, но сначала проверьте ссылку и будьте аккуратны: не вводите по ссылке пароли, номера телефонов и банковских карт, и другие личные данные
https://
уверены, что хотите выйти?
придется авторизоваться заново, а заполненные данные будут удалены
пост закреплён — пока закрепить можно только один пост
что-то пошло не так — попробуйте снова чуть попозже