返回全部动态

llama.cpp b11712:随机模型生成器引入按张量填充表

原标题:b11712

llama.cpp Releases一手来源开源质量 68

AI 摘要

llama.cpp 发布 b11712 版本,主要改动是给随机模型生成器引入按张量名匹配的填充表(per-tensor filler table),修复了 Muse Spark 模型在滑动窗口注意力(SWA)下 state_load 测试约 6% 随机种子超出 NMSE 阈值的问题。改动后最差误差从 1.36e-05 降至 2.48e-06,中位数从 4.10e-06 降至 5.48e-07,其余 131 个模型输出逐位不变,CPU 与 CUDA 构建的 ctest 均通过。同时所有填充器统一从 fill_normal 取值,生成模型逐位一致。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> tests: give the random model generator a per-tensor filler table (#30674) * tests: give the random model generator a per-tensor filler table Muse Spark makes test-llama-context fail on state_load, cp_h and cp_d on about six percent of the random seeds, with an NMSE of 1.0e-05 to 1.4e-05 against a threshold of 1.0e-05. The sliding window is what exposes it: a restored state keeps the window alone, so the attention of an SWA layer reduces over a different cell layout and the cont


发布时间:2026-10-17 22:01
抓取时间:2026-10-17 23:04
来源机构:ggml-org
阅读原文github.com