MoE 模型 prefill 专家缩减的损伤定位：少数提示 token 承载大部分短答案 F1 损失
原标题：Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss
AI 摘要
该论文研究 MoE 模型在 prefill 阶段减少路由专家数量对短答案问答的影响。作者在 Qwen3-30B-A3B、DeepSeek-V2-Lite、Qwen1.5-MoE 和 OLMoE 四个模型家族上定位损伤来源，发现一半专家时 F1 损失主要体现为答案形式（模型仍能找到答案但不再简短作答），且损伤集中在提示词两端的少数 token（如 Qwen3 的聊天模板 token、DeepSeek 的前 8-32 个 token）。在真实提示上，将约 4% 的 token 保持全专家并放在任务接口处，F1 可保持与原模型相差 1 分以内，而随机放置则差约 3 分；11K token 提示下首 token 时间下降约 14%。
正文节选
Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss Abstract Running prompt tokens through fewer routed experts during prefill is a simple way to make mixture-of-experts (MoE) serving cheaper, yet it is unclear what this damages. We locate the damage with token-, layer- and attention-path interventions on short-answer question answering in four MoE families. At half the experts the F1 loss of three families is mostly answer form: the model