🚀 Ray Serve LLM анонсировал API для MoE и disaggregated-сerving
Появились новые API для удобного развертывания LLM с поддержкой wide-EP и disaggregated prefill/decode.
Ray Serve LLM теперь позволяет л
читать далее
#disaggregated_serving
звёзды индустрии
Директор по маркетингу и PR в HeadHunter
Project manager в Lamoda
HR-бизнес-партнер (HR BP) в Золотое яблоко Екатеринбург
IM Lead / Influence marketing Lead в Додо Пицца
CPO Яндекс Go для бизнеса (B2B)
