返回全部动态
llama.cpp b11742：修复混合 DNA 分词器支持
原标题：b11742
AI 摘要
llama.cpp 发布 b11742 版本，主要修复混合 DNA 分词器相关问题。该版本为 Carbon-14B 增加 HybridDNA 分词器支持，可自动标记未标记的 DNA 序列并使用 N 填充尾部 token；同时修复 Carbon-500M/3B/8B 等旧版 Carbon 模型在转换时特殊 token 与 merges 的处理。此次更新提升了 llama.cpp 对 DNA 序列类模型的分词兼容性。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> hybrid dna tokenizer fixes (#30825) * vocab : support Carbon-14B HybridDNA tokenizer Carbon-14B auto-tags untagged DNA runs and uses N-padded tail tokens (tail=pad_n). Also strip whitespace inside <dna> tags and handle a stray </dna> like the HF tokenizer. * convert : fix special tokens and merges for older Carbon models Carbon-500M/3B/8B don't register the Qwen added tokens and ship no tokenizer.json, so take the token types, merges and special ids from the base tokenizer.
发布时间：2026-10-20 05:30
抓取时间：2026-10-20 05:41
来源机构：ggml-org