Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах.

Правда, поддерживаются только GPU Nvidia (не сомневаюсь, что только узкий перечень железа), но эксперимент интереснейший. Будем посмотреть!