Это огромная MoE-модель на 2,8 трлн параметров с контекстом до 1 млн токенов. Но есть небольшой нюанс: для полноценного локального запуска рекомендуется кластер минимум из 64 ускорителей.

Ориентировочная стоимость такого оборудования и необходимой инфраструктуры — около 330–350 млн рублей.

Так что «запустить Kimi K3 локально» технически можно. Осталось только продать квартиру, машину, соседний дом и построить небольшую серверную 😄