视频扩散训练中时间注意力头的专业化研究
原标题：Temporal-Attention Head Specialization During Video Diffusion Training
AI 摘要
该研究对Open-Sora的STDiT视频扩散模型进行了跨九个训练轨迹、三种模型规模（306M至1.03B参数）的检查点级时间注意力头普查，使用熵归一化的跨帧注意力集中度（CFAC）指标。结果显示，总体CFAC均值持平或下降，但约4-13%的注意力头出现显著集中，且可复现的信号是块级别的——选中的头反复出现在第一个时间块中，而非具体坐标。注意力图收敛到自帧对角线和相邻帧带等局部帧路由模式，但相关性和消融分析未能建立与生成视频质量的因果联系。
正文节选
[Page 1] TEMPORAL-ATTENTION HEAD SPECIALIZATION DUR- ING VIDEO DIFFUSION TRAINING Taewoo Ha1, Shafayat Mowla Anik2, Dae Yeol Lee3, Byeong Kil Lee2, Jeeho Ryoo4 1Independent Researcher, 2University of Colorado - Colorado Springs 3Dolby Laboratories, 4Fairleigh Dickinson University txh2120@gmail.com, sanik@uccs.edu, DaeYeol.Lee@dolby.com blee@uccs.edu, j.ryoo@fdu.edu