MBZUAI-IFM 发布 K2-Horizon-MoVA-36B-A4B GGUF 量化版
原标题：IFM/K2-Horizon-MoVA-36B-A4B-GGUF
AI 摘要
MBZUAI-IFM 在 Hugging Face 发布了 K2-Horizon-MoVA-36B-A4B 的 GGUF 量化版本，供 llama.cpp 使用，包含 BF16、Q8_0、Q6_K、Q5_K_M、Q5_0、Q4_K_M 等多种精度。该模型是 K2-Horizon 系列的稀疏 MoE 成员，采用 Mixture-of-Values 注意力，总参数 36B、每 token 激活 4B，支持 512K 原生上下文。官方称其在智能体与推理基准上超过约 30B 的稠密模型和最高 15 倍规模的 MoE 模型，并将公开训练数据、配方与代码。
正文节选
--- pipeline_tag: text-generation library_name: transformers model_name: K2-Horizon-MoVA-36B-A4B language: - en license: apache-2.0 datasets: - IFM/K2-Horizon-Pretrain-Data - IFM/K2-Horizon-Midtrain-Data tags: - k2-horizon - 36b - mova - moe - open-weights - ifm base_model: - IFM/K2-Horizon-MoVA-36B-A4B --- # K2-Horizon-MoVA-36B-A4B-GGUF > [!NOTE] > This repository contains GGUF versions of the [IFM/K2-Horizon-MoVA-36B-A4B](https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B) for use with `llam