FuriosaAI представил ИИ-ускоритель RNGD для LLM

Южнокорейский стартап FuriosaAI представил новый специализированный чип RNGD («Renegade»), который конкурирует с ускорителями NVIDIA и предназначен для работы с большими языковыми моделями (LLM) и мультимодальным ИИ.

Основанная в 2017 году тремя бывшими инженерами AMD, Qualcomm и Samsung, FuriosaAI выпустила свой первый продукт в 2021 году — чип Warboy, разработанный для задач компьютерного зрения. Новый чип RNGD, созданный по 5-нм техпроцессу TSMC, представляет собой PCIe 5.0 x16 карту с 48 Гбайт HBM3 памяти (1,5 Тбайт/с) и 256 Мбайт SRAM (384 Тбайт/с), с TDP 150 Вт. RNGD поддерживает до 512 Тфлопс в режиме FP8 и до 256 Тфлопс в режиме BF16.

Чип основан на архитектуре Tensor Contraction Processor (TCP), которая оптимизирует баланс между эффективностью и производительностью. RNGD поддерживает обработку до 3000 токенов в секунду для моделей с 10 млрд параметров и может быть объединён до восьми карт для моделей с 100 млрд параметров. Программный стек включает компилятор, профилировщик и API для простоты программирования и развёртывания, что позволяет настраивать RNGD для различных ИИ-задач.