Ternary-Bonsai-1.7B 的 LiteRT-LM INT2 端侧量化包
原标题：litert-community/Ternary-Bonsai-1.7B
AI 摘要
Hugging Face 上发布了 litert-community/Ternary-Bonsai-1.7B，这是将 prism-ml/Ternary-Bonsai-1.7B-unpacked 以 INT2（三值）量化后打包为 LiteRT-LM 格式的模型，可在 GPU 或 CPU 后端运行，不支持 NPU。发布方推荐使用 fp32 激活版本，因为当前 LiteRT 运行时下 fp16 版本在 GPU 上会溢出并产生乱码。该模型基于 Qwen3-1.7B，采用 Apache-2.0 许可，属于端侧部署的量化重打包产物，未进行额外训练。
正文节选
--- license: apache-2.0 base_model: prism-ml/Ternary-Bonsai-1.7B-unpacked base_model_relation: quantized pipeline_tag: text-generation library_name: litert-lm tags: - litert-lm - litertlm - bonsai - ternary - int2 - qwen3 - chat - text-generation - gpu - cpu - on-device - android - quantized --- # Ternary-Bonsai-1.7B — LiteRT-LM (INT2 / ternary, GPU + CPU) Ternary (INT2) `.litertlm` bundles of [`prism-ml/Ternary-Bonsai-1.7B-unpacked`](https://huggingface.co/prism-ml/Ternary-Bonsai-1.7B-unpacke