GLM-5.3-Flash 五个 GGUF 量化版本发布
原标题:peasantsmith/GLM-5.3-Flash-Maya-GGUF
AI 摘要
开发者 peasantsmith 在 Hugging Face 发布了 GLM-5.3-Flash 的 GGUF 量化版本,包含 Maya-XS、S、S24、M、L 五个规格,基于 Z.ai 官方 FP8 权重制作。其中 Maya-L 在零样本任务上保留全精度模型 99.2% 的准确率,体积 156GB;最小的 Maya-XS 为 73.4GB,可在 64GB 内存加单张 24GB 显卡的 PC 上以 128K 上下文运行。该系列采用 Project Maya 的分层卸载策略(专家分布于 GPU、内存和 SSD),并借助 IST Austria DAS Lab 的 GPTQ 式误差反馈舍入方法。
正文节选
--- license: mit base_model: zai-org/GLM-5.3-Flash base_model_relation: quantized pipeline_tag: text-generation quantized_by: peasantsmith tags: - gguf - imatrix - mixture-of-experts - glm - project-maya - vision --- # GLM-5.3-Flash · Maya-XS, Maya-S, Maya-S24, Maya-M and Maya-L **Maya-L: 99.2% of the full FP8 model's accuracy** on zero-shot tasks (ARC, HellaSwag, WinoGrande, PIQA), in 156 GB. **Maya-S: 97.9%** in a 96 GB file. **Maya-S24: 97.7%, and up to 14% faster decode on 24 G