返回全部动态
llama.cpp b11752:修复 MoE 路由测试后端噪声问题
原标题:b11752
AI 摘要
llama.cpp 发布 b11752 版本,主要修复测试中 MoE 路由器选择受后端噪声影响的问题:通过为每个专家填充步长为 2 的选择偏置斜坡,使 top-k 选择仅取决于专家索引,Beam 架构在 160 个种子下与 CPU 参考误差缩小至 4e-7。同时改进测试设备表,区分 Apple SoC 的 CPU 与 GPU 设备名。该版本同步提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> tests : make MoE router selection independent of the backend noise (#30818) * tests : make MoE router selection independent of the backend noise The router scores are in the range [0, 1), so a random draw can leave the last expert (or expert group) still selected and the first one dropped tied within the noise between the backends. They then route a token to different experts and the logits differ by 4e-3 instead of the usual 5e-7. Beam is the only arch here with a real top-k
发布时间:2026-10-20 16:18
抓取时间:2026-10-20 16:56
来源机构:ggml-org