返回全部动态
llama.cpp b11612：为 Unigram 分词器新增可选 NFC 规范化
原标题：b11612
AI 摘要
llama.cpp 发布 b11612 版本，主要变更为 Unigram 分词器新增可选的 NFC Unicode 规范化支持（PR #30390），并附带各平台预编译二进制包。该更新提升了多语言文本在 Unigram 分词下的规范化处理能力，属于推理框架的常规迭代。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> unicode : add opt-in NFC normalization for Unigram tokenizers (#30390) * unicode : add opt-in NFC normalization for Unigram tokenizers Note: used help from Codex, Sol 6.1 Medium * Fixing initial bot comments + linter error (using existing out instead of print) * removed test_nfc_tokenizer </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/55779167> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://git
发布时间：2026-10-14 17:46
抓取时间：2026-10-14 18:16
来源机构：ggml-org