基于局部信赖域优化的在线蒸馏 Token 效用
原标题：Token Utility for On-Policy Distillation via Local Trust-Region Optimization
AI 摘要
该论文提出一种用于在线策略蒸馏（OPD）的 token 效用度量方法，从蒸馏目标本身推导 token 重要性：在相同局部 KL 预算下，每个位置能带来多大损失下降。作者据此提出 Fisher Utility Weighting（FUW），一种连续、均值归一化的 token 加权方案。在七个数学推理基准和三个 Qwen3 学生-教师对上，FUW 在 reverse-KL 和 forward-KL 下均优于均匀 OPD，并与现有选择性方法具有竞争力。
正文节选
Token Utility for On-Policy Distillation via Local Trust-Region Optimization Abstract Token-selection methods for on-policy distillation (OPD) prioritize student-visited positions using diverse signals, including uncertainty, teacher–student disagreement, and mismatch direction. We instead derive token importance from the distillation objective itself: how much can each position’s loss decrease under an equal local KL budget on the student’s predictive distribution? The answer is the utility , w