Ling-3.0-tiny 的 GGUF 量化版本发布
原标题：bloomer010/Ling-3.0-tiny-GGUF
AI 摘要
开发者 bloomer010 在 Hugging Face 上发布了 inclusionAI/Ling-3.0-tiny 的 GGUF 量化版本，直接从 BF16 safetensors 转换而来，覆盖从 BF16 到 Q1_0 的多种量化档位。该模型为 7.9B 总参数、1.3B 激活参数的 MoE 架构，含 18 层 KDA 与 6 层 MLA，支持 131,072 token 上下文。作者指出完整 agentic 工具调用需依赖两个 llama.cpp PR（Ling 专用解析器与 PEG 解析器 UTF-8 处理），并提供了量化体积与内存对照表及重要性矩阵校准细节。
正文节选
--- license: mit base_model: - inclusionAI/Ling-3.0-tiny pipeline_tag: text-generation library_name: llama.cpp tags: - gguf - bailingmoe3 - mixture-of-experts - conversational --- # Ling-3.0-tiny GGUF GGUF conversions of [inclusionAI/Ling-3.0-tiny](https://huggingface.co/inclusionAI/Ling-3.0-tiny), converted directly from the released BF16 safetensors. ## 🦙🚨 llama.cpp 🦙🚨 Consistent agentic use (tool calling, reasoning split) currently requires two unmerged llama.cpp PRs: - Dedicate