Qwen3.8-27B GGUF 量化版:实测 agent 工具调用能力临界点
原标题:KikoCis/Qwen3.8-27B-GGUF
AI 摘要
Hugging Face 用户 KikoCis 发布了 Qwen3.8-27B 的 GGUF 量化版本,并首次系统测量了量化精度对 agent 工具调用能力的影响。结果显示,2.93 bits/weight 的 IQ2_M 在 80 项工具调用任务中通过 79 项,是性价比最高的选择;而低于 2.23 bits/weight 的 1-bit 量化版本会严重失效,仅完成约三成任务,主要失败模式是完全不发出工具调用。作者还指出测量结果受运行时后端影响,且 262K 上下文与多模态能力均未经验证。
正文节选
--- license: apache-2.0 base_model: Qwen/Qwen3.8-27B base_model_relation: quantized pipeline_tag: text-generation library_name: gguf tags: - gguf - qwen3.8 --- # Qwen3.8-27B — GGUF quants, with the point where they stop driving tools Quants of [Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B). What this repo adds over the other GGUF builds of the same model is not the files: it is a measured answer to *how far down you can quantize before an agent stops working*, and the honesty