Ternary-Bonsai-2-27B 262k GGUF：12GB 显卡跑满上下文
原标题：CaryPalmer/Ternary-Bonsai-2-27B-262k-GGUF
AI 摘要
开发者 CaryPalmer 在 Hugging Face 发布了 Ternary-Bonsai-2-27B-262k-GGUF，基于 PrismML 的 1.58-bit 三值量化 Bonsai 2 27B 模型，重新嫁接 MTP 草稿头并配套服务栈，使单张 12GB RTX 4070 能在 q8_0 KV 精度下跑满 262,144 token 上下文。该服务栈通过分层 KV 缓存、无损投机解码和针对 agent 应用的请求兼容处理，显著提升了解码速度与工具调用、编码、agent 基准成绩，且权重未做改动。
正文节选
--- license: apache-2.0 base_model: - prism-ml/Ternary-Bonsai-2-27B-gguf base_model_relation: quantized library_name: gguf pipeline_tag: text-generation tags: - llama.cpp - gguf - qwen3_5 - ternary - ptq1_0 - bonsai - mtp - speculative-decoding - long-context - 262k - agents - tool-calling - windows language: - en --- # Bonsai 2 27B, served: the full 262,144-token window at q8_0 on a 12 GB card **A 27B model with its whole trained contex