Tokka-Bench：跨100种自然语言与20种编程语言评估分词器
原标题：Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
AI 摘要
研究者发布开源框架 Tokka-Bench，用于跨语言评估分词器质量，覆盖 100 种自然语言（30+ 种文字系统）和 20 种编程语言，采用语言感知的分词策略。该框架使用五个互补指标（每 token 字节数、唯一 token 覆盖率、子词生育率、词切分率、词表构成），并对比了 GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3、Kimi K2 七种 BPE 分词器。结果显示词表分配策略比词表规模更重要，且近期分词器在编程语言效率上已趋同，但自然语言表现差异明显。
正文节选
Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages Abstract Large language models rely on subword tokenizers whose quality varies across languages, yet no standardized multi-metric framework exists for broad comparative evaluation. We introduce Tokka-Bench, an open-source framework that evaluates tokenizers on five complementary metrics—bytes per token, unique token coverage, subword fertility, word-split rate, and vocabulary composition—across 100 natural languag