MemSFT：通过外部参数化记忆缓解对齐税
原标题：MemSFT: Mitigating Alignment Tax with an External Parametric Memory
AI 摘要
MemSFT 提出了一种通过外部参数化记忆来缓解对齐税的方法，在不更新骨干网络的情况下，训练外部记忆模拟非参数检索器在领域数据上的行为，并通过学习到的路由器在解码时动态融合记忆和骨干输出分布。在生物、地球科学和法律领域，使用 Qwen3-8B 到 Qwen3-235B-A22B 的模型评估显示，MemSFT 显著提升了领域性能，同时通用性能几乎无下降，而完整 SFT 则遭受严重遗忘。单个领域特定的 8B 记忆可复用于不同规模的 Qwen3 骨干，适配四个骨干仅需完整 SFT 的 0.22 倍 FLOPs。
正文节选
MemSFT: Mitigating Alignment Tax with an External Parametric Memory Abstract Adapting Large Language Models (LLMs) to specialized domains often incurs an alignment tax, as fine-tuning on domain-specific tasks can cause catastrophic forgetting and substantially degrade performance on general tasks. We propose MemSFT, which mitigates the alignment tax by decoupling domain specialization from backbone parameter updates through a plug-and-play parametric memory. The memory is trained to imitate the