Как запустить LLM на 2,8 трлн параметров на ноутбуке

Всем привет 👋 😊

Модель на 2,8 трлн параметров запустили на одном ноутбуке. Скорость — минута на токен.

Звучит как курьёз. Но внутри — обычная инженерная задача: иерархия памяти, последовательное чтени

читать далее