Diffu-LoRA：面向个性化扩散模型的新型低秩适配
原标题：Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models
AI 摘要
张江人工智能实验室的研究者提出 Diffu-LoRA，一种面向个性化扩散模型的参数高效微调方法。该方法在 Transformer 块的线性层中插入带门控的低秩适配组件，通过双层优化在独立数据划分上更新低秩因子与门控参数，并用渐进剪枝按预设秩预算移除低门控组件，从而在各层间非均匀分配适配容量。在 Stable Diffusion 上基于 DreamBooth 等数据集的实验显示，其主体保真度和提示对齐优于所评估的微调基线。
正文节选
[Page 1] Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models Tianjing Li1⋆and Wei Zhu1 Zhangjiang Lab of Artificial Intelligence, Shanghai, China Abstract. Personalizing text-to-image diffusion models from a few reference images requires preserving subject identity while fol