通过条件锚定蒸馏稳定持续学习中的语言模型
原标题：Stabilizing language models under continual learning via condition-anchored distillation
AI 摘要
清华大学AIR研究院与南京大学的研究者提出条件锚定生成蒸馏（CAGD）方法，用于缓解语言模型持续学习中的灾难性遗忘。该方法保留少量旧提示作为锚点，用冻结的上一代模型重建补全和生成状态，并让学生模型在学习新任务时匹配教师的软预测分布。在219M掩码扩散语言模型的四任务持续适应中，CAGD将最终留出损失从2.927降至1.114（正序）和从2.168降至0.891（逆序），并在SMDM和Qwen3上验证了方向一致性。
正文节选
[Page 1] Under review as a conference paper at ICLR 2027 STABILIZING LANGUAGE MODELS UNDER CONTINUAL LEARNING VIA CONDITION-ANCHORED DISTILLATION Huan Li1 Zhe Cao2 Qinlei Xie1 Fushun Cui1 Xuechen Liang1,* 1Institute for AI Industry Research (AIR), Tsinghua University 2Nanjing University *Corresponding author ABSTRACT Contin