О программируемости AWS Trainium и Inferentia
•AWS Neuron SDK предоставляет инструменты для разработки и запуска новых ядер в AWS Trainium и AWS Inferentia. •Интерфейс Neuron Kernel Interface (NKI) позволяет создавать пользовательские ядра для NeuronCore-v2. •Пользовательские операторы Neuron C++ также доступны для движка GpSimd. •NeuronCore-v2 включает несколько внутренних ускорителей, каждый из которых специализируется на определенных типах вычислений. •Компилятор Neuron преобразует ML-модели в низкоуровневые операции и оптимизирует выбор вычислительного модуля. •Тензорный движок специализируется на умножении матриц, векторный и скалярный движки работают с тензорами. •GpSimd — движок общего назначения, способный запускать произвольные программы на C/C. •Интерфейс NKI предоставляет доступ к вычислительным механизмам Neuron core и ресурсам памяти. •Руководство по началу работы с NKI содержит инструкции по установке и примеры. •Руководство по модели программирования NKI описывает три этапа работы ядра NKI. •Примеры приложений ядра NKI демонстрируют новые базовые API-интерфейсы и возможности. •Создано пользовательское ядро GIOU для пары пакетов полей ввода. •Использована расширенная тензорная индексация NKI и опции для запуска кода на CPU. •Ядро GIOU продемонстрировало среднее время выполнения 0,211 миллисекунды, что на 39% быстрее наивной реализации в PyTorch. •Пользовательские операторы Neuron C предоставляют возможность "слияния ядер" на движке GpSimd. •Пример ядра GIOU на C++ демонстрирует использование модуля доступа TCM и многоядерной настройки. •Ядро использует все восемь внутренних процессоров GpSimd для оптимизации производительности.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
