AgentionAI 发布 Qwen3.8-Flash-Next AP GGUF 量化版
原标题:agentionai/Qwen3.8-Flash-Next-AP-GGUF
AI 摘要
AgentionAI 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 Agention Precision(AP)GGUF 量化版本,兼容主线 llama.cpp,无需 fork。该版本按张量组混合量化类型,并公布各档位在留出语料上的 KL 散度和 top-1 一致率;其中 AP-Q5_K_M 在同等显存下与 unsloth 的 UD-Q4_K_XL 持平,在代码语料上更优,AP-Q4_K_XL 则节省约 9.5 GiB 显存。作者还指出 wikitext 因被模型记忆会虚高分数,故改用留出语料评测。
正文节选
--- base_model: - Qwen/Qwen3.8-Flash-Next base_model_relation: quantized license: other license_name: qwen-community-1.0 license_link: LICENSE library_name: gguf pipeline_tag: text-generation tags: - gguf - qwen3.8-flash-next - qwen4exp - imatrix - agentionai --- # Qwen3.8-Flash-Next AP GGUF [Agention Precision](https://agention.ai/models/qwen3.8-flash-next/) (AP) quants of [Qwen/Qwen3.8-Flash-Next](https://huggingface.co/Qwen/Qwen3.8-Flash-Next). Mainline llama.cpp compatible — standard quant