ShadowPEFT 原生集成到 Hugging Face PEFT 库
原标题：适配器即模型 —— ShadowPEFT 现已集成到 🤗 PEFT 库
AI 摘要
Hugging Face 的 PEFT 库在 v0.21.0 版本中原生集成了 ShadowPEFT 方法。ShadowPEFT 采用与 LoRA 不同的适配器结构，引入一个可随层持续更新的影子模型，形成双向耦合的信息流动，使适配器本身成为一个可独立运行的模型。在 GSM8K 数学推理和 DreamBooth 图像生成任务上，ShadowPEFT 用更少或相近的可训练参数取得了优于 LoRA 和 DoRA 的准确率与相似度，且检查点体积更小。
正文节选
This article is also available in English ShadowPEFT 现在已经是 🤗 PEFT 库中原生支持的方法了：ShadowPEFT 采用了和 LoRA 完全不同的适配器结构设计，但它的用法和 LoRA 一样，都是调用 get_peft_model，适配器的保存和加载路径也完全一致，非常好上手。这篇文章会先简单回顾一下 PEFT 的技术发展，再用最直接、最不绕弯子的方式讲清楚 ShadowPEFT 到底改变了什么。紧接着我们会介绍它在库中的具体集成方式，最后把它和 LoRA、DoRA 放在一起在不同任务上做个对比。 参数高效微调（PEFT）让我们可以在不更新预训练模型全部参数的情况下，把大模型适配到各种下游任务上 [1]。 全量微调会把模型的所有权重都更新一遍。这种做法当然有效，但带来的问题是：保存的检查点和原始模型一样大，优化器参数也极其占内存，而且如果要存很多个任务专用的副本，很快就会变得不现实。PEFT 用了一个很直觉的办法来让优化大模型变得可行：它把预训练模型冻住，只训练一小部分额外的参数来做任务的适配。推理的时候，这些额外参数引导冻结