返回全部动态

llama.cpp b11819 发布:支持 Nemotron 非标准 GQA 与 BPE 分词器

原标题:b11819

llama.cpp Releases一手来源开源质量 67

AI 摘要

llama.cpp 发布 b11819 版本,新增对 Nemotron 模型的支持,包括非标准 GQA、BPE 分词器以及 domyn-small pre-type。同时,gguf-py 将 Metaspace 的 prepend_scheme 写入 GGUF 元数据,词表模块解析该字段并在反分词时使用。该版本同步提供 macOS、Linux、Windows、Android 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> nemotron : support non-standard GQA, BPE tokenizer and domyn-small pre-type (#23343) * nemotron : support non-standard GQA, BPE tokenizer and domyn-small pre-type * gguf-py : write Metaspace prepend_scheme as GGUF metadata * vocab : parse metaspace prepend_scheme into enum, rename key * vocab : use metaspace prepend_scheme in detokenize, add TODOs for other tokenizers * vocab : use constant for metaspace escaped space --------- Co-authored-by: Martin Cimmino <martin.cimmin


发布时间:2026-10-22 20:53
抓取时间:2026-10-22 21:38
来源机构:ggml-org
阅读原文github.com