Qwen3-0.6B INT4 端侧版本发布，适配 LiteRT-LM
原标题：litert-community/Qwen3-0.6B-int4
AI 摘要
Hugging Face 社区用户 litert-community 发布了 Qwen3-0.6B 的 INT4 量化版本，采用 Google LiteRT-LM 的 .litertlm 格式，面向 Android、iOS、桌面和嵌入式设备端侧推理。该版本体积约 332MB（比 fp32 小约 7 倍），并提供开启和关闭思考模式的两个文件。在三星 Galaxy S26 上的实测显示，GPU 后端预填充速度比 CPU 快 4.5-6.3 倍，首 token 延迟 0.17 秒，峰值内存低约 25%。
正文节选
--- license: apache-2.0 base_model: Qwen/Qwen3-0.6B base_model_relation: quantized library_name: litert-lm pipeline_tag: text-generation tags: - litert-lm - litertlm - on-device - edge - android - int4 - quantized - qwen3 language: - en - zh --- # Qwen3-0.6B — INT4 · LiteRT-LM On-device **INT4** builds of [Qwen/Qwen3-0.6B](https://huggingface.co/Qwen/Qwen3-0.6B) in the **`.litertlm`** format for Google's [LiteRT-LM](https://github.com/google-ai-edge/LiteRT-LM) runtime (Andr