Ternary-Bonsai-2-27B 三元量化 MTP 版发布，消费级显卡本地提速
原标题：sudoingx/Ternary-Bonsai-2-27B-PTQ1_0-MTP-GGUF
AI 摘要
用户 sudoingx 在 Hugging Face 发布了 Ternary-Bonsai-2-27B-PTQ1_0-MTP-GGUF，这是将 Qwen 3.8 27B 的多 token 预测（MTP）头嫁接到 PrismML 三元压缩模型（1.75 bpw，5.95 GB）上的 GGUF 量化版本，并配套一键安装脚本支持 RTX 30/40/50 及 AMD Radeon。在 RTX 3060 12GB 上，配合 PrismML-Eng/llama.cpp#218 内核分支，单 token 解码从 26 tok/s 提升到 40 tok/s，开启 draft-mtp 后达到 50.1 tok/s；RTX 5060 Ti 16GB 上达到 67.3 tok/s。该工作使 8GB 以上显存的消费级显卡可在本地运行 27B 模型并支持最高 262K 上下文与视觉能力。
正文节选
--- license: apache-2.0 base_model: - prism-ml/Ternary-Bonsai-2-27B-gguf - Qwen/Qwen3.8-27B library_name: llama.cpp pipeline_tag: text-generation tags: - gguf - qwen3_5 - ternary - ptq1_0 - mtp - speculative-decoding - bonsai - rtx-3060 - rtx-5060-ti - amd - radeon - vulkan - blackwell - windows - linux - local-ai --- # Ternary Bonsai 2 27B PTQ1_0 with the MTP head, for Linux and Windows One line installs it on the card you already own, RTX 30, 40 and 50, and AMD Radeon in beta, with 8 GB or m