Как запустить LLM на 2,8 трлн параметров на ноутбуке
Всем привет 👋 😊
Модель на 2,8 трлн параметров запустили на одном ноутбуке. Скорость — минута на токен.
Звучит как курьёз. Но внутри — обычная инженерная задача: иерархия памяти, последовательное чтени
читать далее