返回全部动态

Qwen3.8-27B-MTP-GGUF 发布:内置投机解码提速约2倍

原标题:Jackrong/Qwen3.8-27B-MTP-GGUF

Hugging Face New and Trending Models一手来源模型发布质量 64

AI 摘要

Hugging Face 上发布了 Jackrong/Qwen3.8-27B-MTP-GGUF 模型仓库,将 MTP(多 token 预测)头直接打包进 Qwen3.8-27B 的 GGUF 量化版本,从而无需额外草稿模型即可实现投机解码。据其内部测试,生成吞吐约提升 2 倍(24.05 vs 12.09 tok/s),平均端到端延迟降低约 1.88 倍,草稿接受率 77.9%。该模型为原生视觉语言模型,支持图像与视频理解、思考模式控制及长上下文,原生 262K 并可扩展至 100 万 token。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

--- library_name: transformers tags: - gguf - llama.cpp - image-text-to-text - vision - multimodal - text-generation-inference - transformers - unsloth - conversational license: apache-2.0 pipeline_tag: image-text-to-text --- ## 🟣 Qwen3.8-27B-MTP Inference Speed [![MTP](https://img.shields.io/badge/MTP-Speculative%20Decoding-8B5CF6?style=for-the-badge)](#) [![~2x Faster](https://img.shields.io/badge/Generation-~2.0×%20Faster-7C3AED?style=for-the-badge)](#) [![77.9% Acceptance](https://img.shiel


发布时间:2026-11-07 23:04
抓取时间:2026-11-07 23:05
来源机构:Hugging Face
阅读原文huggingface.co