返回全部动态

llama.cpp b12140:ggml 支持 YaRN truncate=false

原标题:b12140

llama.cpp Releases一手来源开源质量 68

AI 摘要

llama.cpp 发布 b12140 版本,为 ggml 的 YaRN 位置编码实现新增 truncate=false 支持,即不再将频率插值切换的修正区间边界取整。该改动覆盖 CPU 与 CUDA 后端并补充了测试,同时将 RoPE 辅助函数移入内部头文件。此举使 llama.cpp 能正确支持使用 truncate=false 的模型,如 gpt-oss 及部分 PLaMo-3 模型,默认行为仍保持 truncate=true 不变。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> ggml : support `truncate=false` for YaRN (#30206) * ggml : support `truncate=false` for YaRN YaRN calculates correction intervals to switch frequency interpolation methods, but the setting to not round the boundaries of these intervals to integers (`truncate=false`) was not supported. Models that use `truncate=false` include gpt-oss and some PLaMo-3 models; to support them correctly, the GGML operations and CPU backend are modified to handle calculations without rounding. The


发布时间:2026-11-06 09:11
抓取时间:2026-11-06 09:37
来源机构:ggml-org
阅读原文github.com