Google представила виртуальные машины A3 Ultra для ИИ

Google Cloud скоро предложит новые инстансы A3 Ultra, оснащённые ускорителями NVIDIA H200, для высокопроизводительных задач ИИ, включая обучение крупных языковых моделей. Эти виртуальные машины работают на серверах с DPU Titanium ML и поддерживают RDMA-интерконнект GPU-GPU со скоростью до 3,2 Тбит/с, используя платформу Google Jupiter с оптической коммутацией.

Инстансы A3 Ultra обеспечивают вдвое более высокую пропускную способность и производительность инференса по сравнению с A3 Mega. Они также могут масштабироваться до десятков тысяч GPU для сложных ИИ и HPC-задач и будут доступны через Google Kubernetes Engine (GKE) и Hypercompute Cluster. В начале 2025 года Google начнёт использовать системы с ускорителями NVIDIA GB200 NVL72 для ещё более мощных вычислений.