🌤️ AMD обучила ИИ-прогноз погоды на MI300X
AMD продемонстрировала полный цикл обучения ИИ-моделей прогноза погоды на GPU Instinct MI300X с ROCm.
Модели ArchesWeather (детерминированная) и ArchesWeatherGen (генеративная) обучались на данных ERA5 с разрешением 1.5°. ArchesWeather использует 3D Swin U-Net с 2D-вниманием в горизонтальной плоскости и глобальным колоночным вниманием по вертикали. ArchesWeatherGen, построенный на методе flow matching, устраняет излишнюю сглаженность прогнозов, генерируя ансамбли. Обучение включало предобучение и тонкую настройку на сдвиге распределения данных (2007–2019 гг.).
Эксперимент воспроизвёл конвейер из 4 детерминированных моделей и одного генеративного. Использовались библиотеки PyTorch, Hydra и open-source пакет geoarches. На одной MI300X (192 ГБ VRAM) достигался batch size до 8 в режиме bf16.
