🚀 UCSD ускоряет генеративный ИИ на DGX B200

Лаборатория Hao AI Lab в UC San Diego получила доступ к системе NVIDIA DGX B200 для ускорения исследований в области генеративного ИИ.

DGX B200 позволяет команде быстро прототипировать и тестировать новые подходы, включая проекты FastVideo и Lmgame-bench. FastVideo генерирует 5-секундное видео по текстовому запросу всего за 5 секунд, используя GPU H200 и DGX B200. Lmgame-bench тестирует LLM через игры вроде Tetris и Super Mario Bros., оценивая их реакцию в реальных сценариях. Также лаборатория развивает технологию DistServe, разделяя процессы prefill и decode на разных GPU для повышения goodput — метрики, сочетающей пропускную способность и задержку.

Подход DistServe уже лег в основу NVIDIA Dynamo и помогает достигать оптимального баланса между задержкой и стоимостью.

#generative_ai #nvidia_dgx #llm_optimization #distserve #ucsd #ai_research