Корпоративные рамки снова треснули: в сеть выкатили полноразмерный GLM-5.3 со снятыми ограничениями.

Это не очередной джейлбрейк через хитро закрученный системный промпт. Перед нами прямое удаление отказа на уровне весов, упакованное в 273 ГБ формата EXL3.

Внутри честные 753B параметров, около 40B активных на токен и полный массив из 256 MoE-экспертов без кастрации архитектуры.

Что здесь примечательно с инженерной точки зрения:

🔹Взлом на уровне архитектуры: прямое изменение residual writer без дополнительного файнтьюнинга. Рассуждения сохранены, а соответствие HarmBench без цензуры достигает 91.7% при выключенном reasoning. 🔹Качество сжатия: при 3.0bpw дивергенция Кульбака-Лейблера относительно FP8 составляет всего 0.089. Бенчмарки агентских сценариев и точность тул-коллов почти неотличимы от исходника. 🔹Железо для старта: 4x RTX PRO 6000 (суммарно 384 ГБ VRAM) хватает, чтобы поднять модель целиком со спекулятивным декодированием MTP.

Как завести локально:

1️⃣ Забираем веса из репозитория на Hugging Face (huggingface.co/Infatoshi/GLM-5.3-753B-EXL3-3.0bpw, около 273 ГиБ). 2️⃣ Поднимаем TabbyAPI и переключаем бэкенд на exllamav3. 3️⃣ Выставляем параметры: max_seq_len 65536, cache 98304, gpu_split_auto, tool_format: glm4_7, reasoning: true. 4️⃣ В блоке draft_model включаем draft_mode: mtp. 5️⃣ Грабли с тул-коллами: если аргумент представляет собой числовую строку, но движок пытается распарсить ее как int, явно фиксируйте в JSON-схеме тип string, иначе валидатор ломает выполнение функции.

Мы пришли к этапу, когда тяжелые MoE первого эшелона освобождаются от корпоративного выравнивания не шаткими LoRA-костылями, а точной хирургией весов. За деплой и применение теперь отвечает только тот, кто жмет кнопку запуска.

Кто уже щупал EXL3 на подобных масштабах, как ведет себя оверхед по памяти в сравнении с AWQ при контексте длиннее 32K?