Автоматический обход: точное малобитовое квантование для магистров | На пути к науке о данных
• Существует множество методов квантования для уменьшения размера больших языковых моделей (LLM). • AQLM обеспечивает 2-битное квантование с сохранением большой части точности модели. • Основным недостатком AQLM является высокая стоимость квантования больших моделей. • HQQ - еще одна хорошая альтернатива для низкобитового квантования, но требует тонкой настройки для сохранения точности. • Intel активно исследует более совершенные алгоритмы квантования, включая AutoRound, основанный на знаковом градиентном спуске (SignSD). • AutoRound - хорошая альтернатива GPTQ и HQQ, обеспечивающая более точное квантование с минимальными потерями точности. • Методы квантования для LLM делятся на обучение с учетом квантования (QAT) и квантование после тренировки (PTQ). • Методы PTQ не требуют переобучения модели, но обычно работают не так хорошо, как QAT. • AutoRound использует SignSGD для оптимизации округления весов и работает быстрее, чем большинство других методов квантования.
