返回全部动态
SoAI 发布 Qwen3.5-4B GGUF 量化版
原标题：SoAIHQ/Qwen3.5-4B-GGUF
AI 摘要
SoAI 在 Hugging Face 发布了 Qwen3.5-4B 的 GGUF 量化版本，提供 Q4_K_M 与 Q8_0 两种量化文件，并附带用于图像输入的 mmproj 组件。该版本基于 Qwen 原模型量化，支持思考、图像输入与工具调用，上下文窗口达 256K，可通过 llama.cpp 在本地运行并提供 OpenAI 兼容 API。其 Q4_K_M 使用自建校准语料生成 imatrix，以提升量化质量。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- base_model: Qwen/Qwen3.5-4B base_model_relation: quantized quantized_by: SoAI license: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen3.5-4B/blob/main/LICENSE pipeline_tag: image-text-to-text tags: - gguf - llama.cpp - imatrix - soai - multimodal --- <div align="center"> <a href="https://soai.to"><picture> <source media="(prefers-color-scheme: dark)" srcset="https://huggingface.co/SoAIHQ/Qwen3.5-4B-GGUF/resolve/main/soai-logo-dark.png"> <img alt="SoAI" src="https://huggingfac
发布时间：2026-10-24 22:23
抓取时间：2026-10-24 22:26
来源机构：Hugging Face