В Google придумали, как сделать ИИ в разы дешевле

Пока все обсуждают рост мощностей нейросетей, Google делает обратное — учит их работать… в разы компактнее! Компания представила технологию TurboQuant, которая позволяет уменьшить «внутреннюю память» ИИ минимум в 6 раз — без потери качества ответов.

На деле всё упирается в один скрытый элемент — так называемый KV-кэш (что-то вроде «черновика» нейросети, где она хранит промежуточные вычисления). И именно он съедает гигабайты памяти 🤔

TurboQuant решает проблему радикально: — сжимает данные до 3 бит вместо 16–32 — убирает лишние «служебные данные» — ускоряет работу ИИ до 8 раз — модель при этом не «тупеет»