KindlingAI 发布 GLM-5.3-Flash 的 exlr8 量化版，面向 GB10
原标题：kindlingai/glm-5.3-flash-exlr8-k2-k3-k4
AI 摘要
KindlingAI 在 Hugging Face 发布 GLM-5.3-Flash 的 exlr8 v2 量化版本，面向 NVIDIA GB10 统一内存设备（DGX Spark、ASUS GX10），提供 K2/K3/K4 三档 trellis 宽度，可在 1 至 4 台机器上按 TP 并行服务。该量化要求加载器将码本输出舍入到 FP8 E4M3，否则权重质量会下降。在四台 GB10 上对比 NVFP4 版本，K4 解码快 3-8%、质量持平、KV 池大约 15%，但 32K/128K 预填慢 7.7%。
正文节选
--- license: mit license_link: LICENSE base_model: zai-org/GLM-5.3-Flash-BF16 tags: - quantized - exlr8 - exl3 - trellis - moe - glm - glm-5.3-flash - tensor-parallel - gb10 pipeline_tag: image-text-to-text --- # GLM-5.3-Flash · exlr8 (K2/K3/K4) A quantization of **GLM-5.3-Flash** in the **exlr8 v2** format, built for **NVIDIA GB10**-class unified-memory devices (DGX Spark, ASUS GX10) served on one to four boxes. Every routed and shared expert is stored at three trellis widths, K2, K3 and K4,