MiniCPM-V 4.7 35B-A3B 发布 int4 量化版，主打端侧 MoE 推理
原标题：openbmb/MiniCPM-V-4.7-35B-A3B-int4
AI 摘要
面壁智能（OpenBMB）在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 int4 量化版本，基于压缩张量与 llm-compressor 实现 W4A16 量化。该模型是 MiniCPM-V 系列首个 MoE 多模态模型，借助 Lookahead Expert Scheduling、分层量化和 DSpark 投机采样，宣称成为首个可在端侧无损流畅运行的开源 MoE 模型，在 iPhone 17 Pro Max 上仅用 3GB 内存即可达到 13+ tokens/s 的解码速度。模型支持 iOS、Android、鸿蒙及多家芯片平台，并提供 GGUF、AWQ、GPTQ、FP8 等量化变体与主流推理、微调框架支持。
正文节选
--- license: apache-2.0 pipeline_tag: image-text-to-text tags: - minicpm-v - multimodal - On-Device Model - lightweight - moe - quantized library_name: transformers base_model: openbmb/MiniCPM-V-4.7-35B-A3B base_model_relation: quantized --- > **This repository hosts the int4 (W4A16, compressed-tensors, llm-compressor) quantized version of [MiniCPM-V 4.7 35B-A3B](https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B).** For the original BF16 weights and the full model card, please refer to [open