返回全部动态
llama.cpp b12170：MoE 混合专家缓存 LRFU/MQ 实现
原标题：b12170
AI 摘要
llama.cpp 发布 b12170 版本，核心变更是为 MoE 模型引入 LRFU/MQ 风格的混合专家缓存（ClassLRU），通过半衰期衰减公式对专家槽位打分并排序，以决定缓存淘汰。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。这一改动旨在提升 MoE 推理时专家权重的缓存命中效率。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> moe-cache : LRFU/MQ-like hybrid cache, ClassLRU (#31233) * moe-cache : LRFU/MQ-inspired hybrid cache * make the clock advance by N tokens: use the real token count (ne[1] is always 1, ids have n_expert_used entries per token) * sel is a RESHAPE node, the orig input is in src[0], so sel->src[0]->ne[1] is the count * c for the class index, last_use for last use time * explain the roles of these * compute the key once * use the key directly instead of re-reading * show how t
发布时间：2026-11-06 21:50
抓取时间：2026-11-06 22:03
来源机构：ggml-org