🚀 Оптимизация MoE-моделей на GPU AMD AMD представила лучшие практики для обучения MoE-моделей на GPU Instinct MI300/MI355 с использованием экосистемы ROCm

🚀 Оптимизация MoE-моделей на GPU AMD

AMD представила лучшие практики для обучения MoE-моделей на GPU Instinct MI300/MI355 с использованием экосистемы ROCm.

В основе подхода — фреймворк Primus-LM с оптимизациями, такими как Turbo Grouped GEMM, DeepEP и Sync-Free MoE. Решения снижают задержки при обмене данными между экспертом и роутером, устраняют CPU-GPU синхронизацию и ускоряют вычисления за счёт слияния операций. Ключевые инструменты: TraceLens для анализа бутылочных горлышек и Memory Projection для оценки использования памяти.

На моделях до 2 трлн параметров DeepEP даёт ускорение до 7,66× против AllToAll, а интерливинг коммуникаций (1F1B A2A) повышает эффективность параллелизма. Для стабильности включается ручной GC и NUMA-привязка.

#amd #moe #rocm #ai_training #gpu_optimization #primus

еще контент в этом сообществе