Qwen3.5-4B 的 LiteRT-LM 端侧量化版本发布
原标题：litert-community/Qwen3.5-4B
AI 摘要
Hugging Face 社区用户 litert-community 将阿里 Qwen3.5-4B 转换为 Google LiteRT-LM 端侧推理格式，提供 int8 与混合 INT4 两个版本，分别约 4.42GB 和 2.75GB，需 litert-lm ≥0.15。该模型采用 GatedDeltaNet 线性注意力与全注意力混合架构，线性层保持常量状态使内存随上下文增长近乎平坦。作者同时披露并修复了 int8 版本在 CPU 后端多步算术不停止、思考不闭合的缺陷，并替换了分词器以修正组合附加符号文本的切分差异。
正文节选
--- license: apache-2.0 base_model: Qwen/Qwen3.5-4B tags: - litert - litert-lm - litertlm - on-device - edge - hybrid - gated-deltanet - qwen3_5 pipeline_tag: text-generation library_name: litert-lm base_model_relation: quantized --- LiteRT is Google's on-device runtime, the new name for TensorFlow Lite (Android: `com.google.ai.edge.litert:litert`), and `litert-torch`, the renamed `ai-edge-torch`, is its PyTorch converter: a PyTorch model converted unmodified with `litert_torch.