LFM2.5-1.2B-Instruct 的 LiteRT-LM 端侧量化版发布
原标题：litert-community/LFM2.5-1.2B-Instruct
AI 摘要
Hugging Face 上发布了 litert-community/LFM2.5-1.2B-Instruct，这是将 Liquid AI 的旗舰端侧模型 LFM2.5-1.2B-Instruct 转换为 Google LiteRT-LM（.litertlm）格式的量化版本，提供 int8、int4 和 int4_gpu 三个文件。该模型采用门控短卷积与分组查询注意力混合架构，int8 版在 GSM8K 上达到 81%，与 PyTorch bf16 参考的 79% 基本持平，int4 版为 72%，但体积缩小 41%。文件已在 Pixel 8a、Galaxy S26、Raspberry Pi 5 等设备上实测，int4_gpu 版支持 Android OpenCL、macOS 和 iOS Metal 的 GPU 推理。
正文节选
--- license: other license_name: lfm-open-license-v1.0 license_link: LICENSE base_model: LiquidAI/LFM2.5-1.2B-Instruct tags: - litert - litert-lm - litertlm - on-device - edge - hybrid - liquid pipeline_tag: text-generation library_name: litert-lm base_model_relation: quantized --- LiteRT is Google's on-device runtime, the new name for TensorFlow Lite (Android: `com.google.ai.edge.litert:litert`), and `litert-torch`, the renamed `ai-edge-torch`, is its PyTorch converter: a PyTorch