Qwen3.6-27B 架构感知混合精度量化发布,支持多 token 预测
原标题:zerodigest/Qwen3.6-27B-YMQ-MTP-GGUF
AI 摘要
Hugging Face 上发布了 Qwen3.6-27B 的架构感知混合精度量化版本,由 zerodigest 使用 YMQ-Compiler v2.0 框架从原始 BF16 权重转换而来。该版本支持多 token 预测(MTP)和长上下文优化,提供从 XXS 到 XL 多个预设档位,其中 M 档在 WikiText-2 上困惑度最低(7.5295),被推荐为编码场景的最佳平衡点。项目强调其混合精度布局优于传统均匀量化,类似 Intel AutoRound 的哲学,但无需长时间训练。
正文节选
--- license: apache-2.0 base_model: Qwen/Qwen3.6-27B tags: - text-generation - gguf - quantizer - autoround - architecture-aware - mamba - ssm - multi-token-prediction - mtp --- # Qwen3.6-27B-YMQ-MTP-GGUF > **Source Model:** [Qwen/Qwen3.6-27B](https://huggingface.co/Qwen/Qwen3.6-27B) ### ⚖️ An Architecture-Aware, AutoRound-Inspired Mixed Precision Layout This repository features advanced, custom architecture-aware quantizations of **Qwen3.6-27B** processed directly from official raw `BF16` s