ThinkingCap-Qwen3.6-27B 发布 MagicQuant 量化版 GGUF
原标题：lmcoleman/ThinkingCap-Qwen3.6-27B-MagicQuant-GGUF
AI 摘要
lmcoleman 发布了 ThinkingCap-Qwen3.6-27B 的 GGUF 量化版本，使用 MagicQuant 混合进化逐张量搜索方法，提供 Q4、Q5、Q6 等不同量化档位，并推荐 Q5 档位以平衡质量与大小。该模型基于 bottlecapai 的 ThinkingCap-Qwen3.6-27B，支持文本生成和视觉输入，可在 LM Studio、llama.cpp 等环境中使用。量化版本在 wikitext-2 上测量了困惑度，Q5 相比 BF16 仅增加 0.09%，而 Q4 增加 1.84%。
正文节选
--- license: apache-2.0 library_name: llama.cpp base_model: - bottlecapai/ThinkingCap-Qwen3.6-27B base_model_relation: quantized pipeline_tag: text-generation quantized_by: MagicQuant language: - en tags: - gguf - quantized - magicquant --- # ThinkingCap-Qwen3.6-27B-MagicQuant-GGUF Derivative of [ThinkingCap-Qwen3.6-27B](https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.6-27B), quantized using MagicQuant hybrid evolutionary per-tensor search. Sibling repo with AMD-native (ROCmFPX fork-only