🧠 SparK: новый метод сжатия KV-кэша в LLM

AMD представила SparK — метод сжатия кэша ключей и значений без переобучения.

SparK устраняет избыточность на уровне фич-каналов в KV-кэше с помощью «обрезки

читать далее
🧠 SparK: новый метод сжатия KV-кэша в LLM
AMD представила SparK — метод сжатия кэша ключей и значений без переобучения | Сетка — социальная сеть от hh.ru