Ling-3.0-flash GGUF 量化版发布,支持 llama.cpp 与投机解码
原标题:bloomer010/Ling-3.0-flash-GGUF
AI 摘要
Hugging Face 用户 bloomer010 发布了 inclusionAI/Ling-3.0-flash 的 GGUF 量化版本,该模型为 124B 总参数、5.1B 激活参数的混合 KDA + gated MLA、512 专家 MoE 架构。这些文件是 bailingmoe3 架构的参考转换,已合并进 llama.cpp PR #26608,并内置 MTP 块与逐层 SwiGLU clamp 元数据,无需单独 drafter 文件。发布还提供了多种量化规格、显存适配表以及 DSpark 投机解码草稿模型,方便本地部署与 agentic 工具调用。
正文节选
--- license: mit base_model: - inclusionAI/Ling-3.0-flash pipeline_tag: text-generation library_name: llama.cpp tags: - gguf - bailingmoe3 - mixture-of-experts - speculative-decoding - conversational --- # Ling-3.0-flash GGUF GGUF conversions of [inclusionAI/Ling-3.0-flash](https://huggingface.co/inclusionAI/Ling-3.0-flash) (124B total / 5.1B active, hybrid KDA + gated MLA, 512-expert MoE), converted directly from the released BF16 safetensors. These are the **reference conversions for the `b