MiniCPM-V 4.7 35B-A3B 开源 MoE 多模态模型发布
原标题:openbmb/MiniCPM-V-4.7-35B-A3B
AI 摘要
面壁智能(OpenBMB)发布 MiniCPM-V 4.7 的 35B-A3B 版本,这是 MiniCPM-V 系列首个 MoE 多模态模型。该模型借助 Lookahead Expert Scheduling(LES)、细粒度分层量化和 DSpark 投机采样,成为首个可在端侧无损流畅运行的开源 MoE 模型,在 iPhone 17 Pro Max 上仅用 3GB 内存即可达到 13+ tokens/s 的解码速度。模型还支持 iOS、Android、鸿蒙及多家芯片平台,并提供 GGUF、AWQ、GPTQ、FP8 等量化版本和 SGLang、vLLM、llama.cpp 等推理框架支持。
正文节选
--- license: apache-2.0 pipeline_tag: image-text-to-text tags: - minicpm-v - multimodal - On-Device Model - lightweight - moe library_name: transformers --- # MiniCPM-V 4.7 [GitHub](https://github.com/openbmb/MiniCPM-V) · [On-device results](#on-device-capability-and-efficiency) · [Evaluation](#evaluation) · [Examples](#examples) · [Usage](#usages) · [Model weights](#model-weights) · [DSpark](https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B-DSpark) **MiniCPM-V 4.7** is the latest model in