🚀 Kimi-K2 на GPU AMD MI355X — рекордная производительность
AMD Instinct MI355X показали превосходные результаты при работе с моделью Kimi-K2-Instruct.
Тестируемая конфигурация включала 8 GPU MI355X с 288 ГБ HBM3E памяти и ПО на базе SGLang с бэкендом Triton. Сравнение проводилось с 8 GPU B200 от NVIDIA, используя аналогичный стек. Ключевые метрики — время до первого токена (TTFT), задержка (E2E) и пропускная способность. На высоких уровнях конкуренции MI355X обеспечили более чем трёхкратное улучшение TTFT и заметно превзошли конкурента по пропускной способности. Это преимущество объясняется большим объёмом памяти и оптимизациями в ROCm 7.0, особенно эффективными в условиях высокой нагрузки.
При 128 одновременных запросах MI355X достигли в 3.5 раза меньшей задержки и на 40% выше пропускной способности по сравнению с B200.
