返回全部动态

AMD 发布 GLM-5.3 Quark MXFP4 量化版

原标题:amd/GLM-5.3-Quark-MXFP4-AttnFP8

Hugging Face New and Trending Models一手来源模型发布质量 76

AI 摘要

AMD 在 Hugging Face 发布 GLM-5.3-Quark-MXFP4-AttnFP8,基于 zai-org/GLM-5.3 使用 AMD-Quark 工具进行 MXFP4 量化,注意力层采用 FP8 per-block,面向 AMD MI350/MI355 与 ROCm 7.1.1 平台。该模型通过 vLLM 推理,在 GSM8K、GPQA Diamond、AIME26、MMLU Pro 等基准上相对原生 FP8 基线保持约 99% 以上的精度恢复。发布方还提供了完整的量化脚本与评测复现命令。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

--- license: other license_name: glm-5.3 base_model: - zai-org/GLM-5.3 language: - en - zh pipeline_tag: text-generation library_name: transformers --- # Model Overview - **Model Architecture:** GlmMoeDsaForCausalLM - **Input:** Text - **Output:** Text - **Supported Hardware Microarchitecture:** AMD MI350/MI355 - **ROCm:** 7.1.1 - **PyTorch:** 2.10.0+rocm7.1.1.lw.gitd9556b05 - **Transformers:** 5.15.1 - **Operating System(s):** Linux - **Inference Engine:** [vLLM](https://docs.vllm.ai/en/la


发布时间:2026-11-07 00:23
抓取时间:2026-11-07 00:25
来源机构:Hugging Face
阅读原文huggingface.co