返回全部动态

avar6 发布 GLM-5.3-Flash 实验性 GGUF 量化

原标题:avar6/GLM-5.3-Flash-BF16-gguf

Hugging Face New and Trending Models一手来源开源质量 67

AI 摘要

Hugging Face 用户 avar6 发布了基于 zai-org/GLM-5.3-Flash 的实验性 GGUF 量化模型,支持视觉功能,需配合 timkronos 的 llama.cpp 分支使用。量化从 bf16 safetensors 生成,提供 IQ2_XXS 至 Q3_XL 等多种精度方案,并持续更新 mmproj 与混合精度量化。作者表示 Aes Sedai 已上传同类量化,推荐用户转向其仓库,自己将保留部分特殊量化并删除重复的 q5。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

--- base_model: - zai-org/GLM-5.3-Flash --- experimental ggufs with vision support by timkronos. Requires this llamacpp fork https://github.com/timkhronos/llama.cpp/tree/GLM5.3-Flash. Link to the current pr for it https://github.com/ggml-org/llama.cpp/pull/27773 also for clarity, these are quantitized from the bf16 safetensors as it says in the title. But the default repo is fp8. I've linked the default repo as the base since its where people looking for llamacpp compatible ggufs for glm 5.3 fl


发布时间:2026-09-22 07:18
抓取时间:2026-08-30 23:15
来源机构:Hugging Face
阅读原文huggingface.co