返回全部动态

llama.cpp b11752:修复 MoE 路由测试后端噪声问题

原标题:b11752

llama.cpp Releases一手来源开源质量 66

AI 摘要

llama.cpp 发布 b11752 版本,主要修复测试中 MoE 路由器选择受后端噪声影响的问题:通过为每个专家填充步长为 2 的选择偏置斜坡,使 top-k 选择仅取决于专家索引,Beam 架构在 160 个种子下与 CPU 参考误差缩小至 4e-7。同时改进测试设备表,区分 Apple SoC 的 CPU 与 GPU 设备名。该版本同步提供 macOS、Linux、Windows、Android 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> tests : make MoE router selection independent of the backend noise (#30818) * tests : make MoE router selection independent of the backend noise The router scores are in the range [0, 1), so a random draw can leave the last expert (or expert group) still selected and the first one dropped tied within the noise between the backends. They then route a token to different experts and the logits differ by 4e-3 instead of the usual 5e-7. Beam is the only arch here with a real top-k


发布时间:2026-10-20 16:18
抓取时间:2026-10-20 16:56
来源机构:ggml-org
阅读原文github.com