KindlingAI 发布 GLM-5.3 exlr8 三档量化权重
原标题：kindlingai/glm-5.3-exlr8-k2-k3-k4
AI 摘要
KindlingAI 在 Hugging Face 发布了 GLM-5.3 的 exlr8 量化版本（K2/K3/K4 三档位宽），基于 744B MoE 的 GLM-5.3-BF16 构建，面向 NVIDIA GB10 统一内存设备、以 TP=3-7 张量并行方式部署。该格式复用 EXL3 的 trellis 编码，但引入 FP8 E4M3 舍入码本、按专家半区在加载时选择位宽、共享激活旋转以及 MoE/TP 原生分片布局，并配套 gr8、exlr8 等推理引擎。
正文节选
--- license: other license_name: glm-5.3 license_link: LICENSE base_model: zai-org/GLM-5.3-BF16 tags: - quantized - exl3 - trellis - moe - glm - tensor-parallel - gb10 pipeline_tag: text-generation --- # GLM-5.3 · exlr8 (K2/K3/K4) Version 0.5 (git tag `v0.5`). See the [changelog](#changelog). Weight set ID: `2011c0cedde962d19fc43e74c1d409279e398d40d27a6fdb4bcb7b49ea2ea6fb` (see [Identifying the weights](#identifying-the-weights)). Also mirrored on ModelScope: [mmastrac/glm-5.3-exlr8-k2-k3-k4]