🚀 AMD запустила сервис AI-вывода AIM
AMD представила AMD Inference Microservice (AIM) — готовое решение для промышленного развёртывания ИИ-моделей на GPU Instinct™.
AIM автоматизирует развертывание LLM, мультимодальных и речевых моделей через Kubernetes и KServe. Решение использует vLLM в ROCm-окружении, динамически подбирает профили под GPU (MI300X и др.), кэширует веса и поддерживает OpenAI-совместимые API. Благодаря встроенной оркестрации, обнаружению оборудования и оптимизации под AMD-ускорители, вывод моделей становится стабильным и масштабируемым. Интеграция с OpenTelemetry и KEDA позволяет включить мониторинг через Grafana и автоскейлинг на основе нагрузки.
Сервис уже доступен в открытом доступе и входит в состав AMD Enterprise AI Suite.
