Prism ML 发布三值量化 Bonsai 1.7B GGUF 模型
原标题：prism-ml/Ternary-Bonsai-1.7B-gguf
AI 摘要
Prism ML 在 Hugging Face 发布 Ternary-Bonsai-1.7B-gguf，这是基于 Qwen3-1.7B 的三值（1.58-bit）语言模型 GGUF 版本，采用 Q2_0 量化格式，权重仅 436 MiB，较 FP16 缩小 86.6%（7.5 倍）。模型支持 llama.cpp 上游及 Prism 分支运行，在 Apple M4 Pro 上 Metal 后端生成速度达 229 tok/s，为 FP16 的 3.8 倍，且量化后困惑度几乎无损。
正文节选
--- license: apache-2.0 library_name: gguf pipeline_tag: text-generation tags: - ternary - 1.58-bit - gguf - llama-cpp - q2_0 - on-device - prismml - bonsai base_model: - prism-ml/Ternary-Bonsai-1.7B-unpacked --- <p align="center"> <img src="./assets/bonsai-logo.svg" width="280" alt="Bonsai"> </p> <p align="center"> <a href="https://prismml.com"><b>Prism ML Website</b></a> | <a href="https://github.com/PrismML-Eng/Bonsai-demo/blob/main/ternary-bonsai-8b-whitepaper.pdf"><b>Whi