HDC хорошо поддается параллельной обработке, и C++ предоставляет инструменты для ее реализации: Многопоточность: C++ поддерживает многопоточное программирование, позволяя эффективно использовать многоядерные процессоры для HDC-вычислений. SIMD-инструкции: C++ позволяет использовать SIMD-инструкции через интринсики, что значительно ускоряет векторные операции в HDC.

Важно отметить, что HDC обычно не запускается на LLM, которые являются обьектом исследования в EyeLevel. Взамен HDC зачастую внедряется на специальном оборудовании или нейроморфных вычислительных комплексах, спроектированных для эксплуатации его исключительных характеристик.

Недавнее исследование EyeLevel, выявило снижение точности в векторных системах Retrieval Augmented Generation (RAG) для крупных языковых моделей (LLM), породив тревогу касательно расширяемости методик векторного поиска.. Однако, эти выводы не обязательно применимы ко всем векторным операциям, особенно к тем, которые используются в архитектурах гиперразмерных вычислений (HDC).

Что такое гиперразмерные вычисления (HDC)?

HDC - вычислительная парадигма, вдохновленная “работой мозга”, использует иные принципы работы по сравнению с традиционными векторными базами данных, применяемых в системах RAG. Если системы RAG для LLM могут сталкиваться с падением эффективности при возрастании объема информации, HDC же демонстрирует выносливость и сохраняет достоверность данных даже при масштабировании.

Преимущества HDC

Ключевое преимущество HDC - его врожденная резистентность к помехам (галлюцинациям) и погрешностям. Для представления информации HDC использует высокоразмерные векторы, обычно в тысячи измерений. Подобная высокая размерность наделяет HDC уникальными свойствами, выделяющими его среди стандартных методов векторного поиска. Даже при значительном количестве случайных битовых искажений гипервектор сохраняет близость к исходному. Эта "невосприимчивость" к ошибкам минимум в 10 раз превосходит показатели традиционных искусственных нейронных сетей.

Вычислительная эффективность HDC - еще один фактор, способствующий сохранению точности при масштабировании. HDC выполняет вычисления непосредственно в высокоразмерном пространстве, используя простые операции, такие как поэлементные сложения и скалярные произведения. Такой подход может быть более эффективным с точки зрения вычислений по сравнению с традиционными методами векторного поиска.

Недавние исследования показали, что модели HDC могут обеспечить до 47,6% экономии энергии в ассоциативной памяти с незначительной потерей точности (≤1%). Это демонстрирует устойчивость моделей HDC к аппаратным ошибкам и их способность сохранять точность даже при агрессивном масштабировании.

Кроме того, изучались способы минимизации ошибок для HDC, включая выявление и маскирование поврежденных битов. Эти механизмы могут существенно повысить эффективность HDC до 10 000 раз, дополнительно улучшая его способность к масштабированию.

*Вдохновлён статьей John Meléndez