K2-Horizon-MoVA-36B-A4B 社区 GGUF 量化版发布
原标题：ngquocvinh/K2-Horizon-MoVA-36B-A4B-GGUF
AI 摘要
Hugging Face 用户 ngquocvinh 发布了 IFM/K2-Horizon-MoVA-36B-A4B 的社区 GGUF 量化版本，提供从 Q8_0 到 Q1_0 共 15 种量化档位。该基础模型是采用 Mixture-of-Values 注意力的稀疏 MoE 模型，总参数 36B、每 token 激活约 4B，原生支持 524,288 token 上下文，面向推理、编码、智能体和长上下文场景。发布者还给出了各量化档位相对 BF16 的 WikiText 保真度测量，其中 Q1_0 等极端压缩档位与 BF16 偏差极大，被标记为实验性。
正文节选
--- license: apache-2.0 base_model: IFM/K2-Horizon-MoVA-36B-A4B base_model_relation: quantized library_name: llama.cpp pipeline_tag: text-generation language: - en tags: - gguf - llama.cpp - k2-horizon - mova - moe - long-context - quantized - text-generation --- # K2-Horizon-MoVA-36B-A4B GGUF Community GGUF quantizations of [IFM/K2-Horizon-MoVA-36B-A4B](https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B). <div align="center" style="background-color:#f59e0b;color:#ffffff;padding:16px 20px;bor