AgentionAI 发布 Qwen3.8-27B 高保真 GGUF 量化包
原标题:agentionai/Qwen3.8-27B-AP-GGUF
AI 摘要
AgentionAI 在 Hugging Face 发布 Qwen3.8-27B 的 Agention Precision GGUF 量化包,声称在相同文件大小和推理速度下,比 Unsloth、ISTA-DASLab、AtomicChat 等公开量化版本更接近 Qwen 原版 BF16 模型的下一 token 分布。该量化包基于 llama.cpp 标准格式,无需 fork 或额外参数,包含视觉投影器和 MTP 草稿头,并提供从 Q4 到 IQ2 的多个尺寸档位。作者公开了 KL 散度评测方法和部分语料,便于复现对比。
正文节选
--- base_model: - Qwen/Qwen3.8-27B base_model_relation: quantized license: apache-2.0 library_name: gguf pipeline_tag: image-text-to-text tags: - gguf - qwen3.8-27b - imatrix - agentionai --- # Qwen3.8-27B · Agention Precision GGUF [](https://github.com/sponsors/agentionai) [](https://