返回全部动态
llama.cpp 新增 Kimi-K3 模型支持，实现混合注意力与 MXFP4 优化
原标题：b10448
AI 摘要
llama.cpp 发布 b10448 版本，新增对 Kimi-K3 文本模型的支持，包括混合 KDA 线性注意力和 MLA 全注意力架构，以及跨层残差注意力、潜在 MoE、situ 激活、MLA 输出门和全秩 KDA 门等特性。该版本还实现了 MXFP4 量化权重的无损重打包，并添加了 Kimi K3 的聊天格式支持，包括推理提取和工具调用解析。验证显示与 Moonshot 的参考实现高度一致，最终位置 logits 相对误差为 6.7e-05。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> model: add Kimi-K3 text model (#26185) * model: add Kimi-K3 text model Hybrid KDA (linear) + MLA (full) attention as in Kimi-Linear-48B, plus five things that architecture does not have: 1. cross-layer residual attention (attn_res_block_size) 2. latent MoE (routed experts run at n_expert_latent) 3. situ activation (replaces SwiGLU everywhere) 4. MLA output gate (sigmoid gate before o_proj) 5. full-rank KDA gate
发布时间：2026-08-16 04:48
抓取时间：2026-08-16 05:03
来源机构：ggml-org