Functionalizer：面向子词分词的无损功能分解
原标题：The Functionalizer: Lossless Functional Decomposition for Subword Tokenization
AI 摘要
论文提出 Functionalizer，一种无损预分词框架，将大小写、变音符号和字符重复等正字法变化分解为可逆的 opcode/operand 前缀流，编码于 Unicode 私用区。在六种自然语言和代码语料上，该方法在无约束条件下将完整覆盖语料所需词表槽位减少最多 16%，并显著压缩缩进密集的代码序列（推理吞吐提升最多 22.8%），但在自然语言散文上序列长度增加 6-9%。在 25M 参数 GPT-2 规模模型上，它大幅提升代码语法有效性和字符困惑度，同时保持散文连贯性。
正文节选
The Functionalizer: Lossless Functional Decomposition for Subword Tokenization Abstract Standard subword tokenizers either treat every orthographic variation of a word (such as hello, Hello, HELLO, and Héllo) as unrelated vocabulary entries, which fragments the embedding space, or discard this variation through lossy normalization. We present the Functionalizer, a lossless pre-tokenizer framework that factors orthographic and structural variations into a compositional opcode/operand prefix strea