Qwen3.8-27B-MTP-GGUF 发布:内置投机解码提速约2倍
原标题:Jackrong/Qwen3.8-27B-MTP-GGUF
AI 摘要
Hugging Face 上发布了 Jackrong/Qwen3.8-27B-MTP-GGUF 模型仓库,将 MTP(多 token 预测)头直接打包进 Qwen3.8-27B 的 GGUF 量化版本,从而无需额外草稿模型即可实现投机解码。据其内部测试,生成吞吐约提升 2 倍(24.05 vs 12.09 tok/s),平均端到端延迟降低约 1.88 倍,草稿接受率 77.9%。该模型为原生视觉语言模型,支持图像与视频理解、思考模式控制及长上下文,原生 262K 并可扩展至 100 万 token。
正文节选
--- library_name: transformers tags: - gguf - llama.cpp - image-text-to-text - vision - multimodal - text-generation-inference - transformers - unsloth - conversational license: apache-2.0 pipeline_tag: image-text-to-text --- ## 🟣 Qwen3.8-27B-MTP Inference Speed [](#) [](#) [![77.9% Acceptance](https://img.shiel