AtomicChat 发布 Muse Glimmer 30B GGUF 量化版
原标题:AtomicChat/Muse-Glimmer-30B-GGUF
AI 摘要
AtomicChat 在 Hugging Face 发布了 Meta Muse Glimmer 30B 的 GGUF 量化版本,基于原始 BF16 权重并采用校准的重要性矩阵与实测选定的位布局。该版本已合并进 llama.cpp master,可在单张 RTX 5090 上以 24.6 GB 显存运行完整多模态、工具调用与投机解码,生成速度提升 1.8 倍。发布方还提供了各量化档位的 KLD 与 top-1 精度对比,并称在 16 GB 以下优于另一发布方的十二个构建。
正文节选
--- license: apache-2.0 base_model: meta-models/Muse-Glimmer-30B pipeline_tag: image-text-to-text tags: - gguf - llama.cpp --- # Muse Glimmer 30B — GGUF GGUF builds of Meta's Muse Glimmer 30B, made from the original BF16 weights with a calibrated importance matrix and a bit layout chosen by measurement. - You can now run Muse Glimmer 30B in [Atomic Chat](https://atomic.chat/?utm_source=huggingface&utm_medium=referral&utm_campaign=hf_muse_glimmer_30b&utm_content=bullet_app), with adjustabl