Rockchip представила ИИ-ускоритель для работы с LLM и VLM на периферии

Компания Rockchip анонсировала в Китае новый ИИ-ускоритель RK182X, разработанный для запуска больших языковых и визуально-языковых моделей на периферийных устройствах. Чип оснащён многоядерной архитектурой RISC-V и до 5 ГБ DRAM, поддерживает PCIe 2.0, USB 3.0 и Ethernet. Устройство справляется с моделями объёмом до 7 млрд параметров, работает с PyTorch, TensorFlow и ONNX, а также поддерживает формат GGUF. В сочетании с другими SoC Rockchip ускоритель может повысить производительность в задачах ИИ до 10 раз.