Ministral-3-3B 发布 LiteRT-LM 端侧 int4 量化版
原标题：litert-community/Ministral-3-3B-Instruct-2512
AI 摘要
Hugging Face 上发布了 litert-community/Ministral-3-3B-Instruct-2512 的 LiteRT-LM 量化版本，将 Mistral 的 Ministral-3-3B-Instruct 模型转换为 Google LiteRT 端侧运行时格式（blockwise int4 量化，约 2.3GB），并移除了 Pixtral 视觉塔，仅保留文本解码器。2026-10-06 的更新重写了 GPU 计算图，在 Mac Studio M4 Max 上 GPU 解码从 92.4 tok/s 提升至 129.5 tok/s，TTFT 从 0.121s 降至 0.038s，权重未变。该模型可在 Android、iOS 及 Mac 等设备上通过 LiteRT-LM 运行时和 Google AI Edge Gallery 应用本地推理。
正文节选
--- license: apache-2.0 base_model: mistralai/Ministral-3-3B-Instruct-2512 tags: - litert - litert-lm - litertlm - on-device - edge - ministral - mistral pipeline_tag: text-generation library_name: litert-lm base_model_relation: quantized --- LiteRT is Google's on-device runtime, the new name for TensorFlow Lite (Android: `com.google.ai.edge.litert:litert`), and `litert-torch`, the renamed `ai-edge-torch`, is its PyTorch converter: a PyTorch model converted unmodified with `litert