MiniCPM-V 4.7 1B 发布 GGUF 量化版,面向端侧多模态推理
原标题:openbmb/MiniCPM-V-4.7-1B-gguf
AI 摘要
OpenBMB 在 Hugging Face 发布 MiniCPM-V 4.7 1B 的 GGUF 量化版本,基于 llama.cpp,面向端侧部署。该 1B 多模态模型采用 LLaVA-UHD v4 的 ViT 内早期压缩与 4x/16x 混合视觉 token 压缩,官方称在整体得分和推理效率上明显优于 Qwen3.5 0.8B。模型支持 iOS、Android、HarmonyOS 及多家芯片平台,并提供 SGLang、vLLM、llama.cpp、Ollama 等推理框架和多种量化格式支持。
正文节选
--- license: apache-2.0 pipeline_tag: image-text-to-text library_name: llama.cpp tags: - gguf - llama.cpp - quantized - imatrix - dspark - speculative-decoding - minicpm-v - multimodal - On-Device Model - lightweight base_model: openbmb/MiniCPM-V-4.7-1B base_model_relation: quantized --- > **This repository hosts the GGUF (llama.cpp) quantized version of [MiniCPM-V 4.7 1B](https://huggingface.co/openbmb/MiniCPM-V-4.7-1B).** For the original BF16 weights and the full model card, please refer to