让 MLLM 潜在表示发挥作用：面向电影级视频生成的因子感知预测学习
原标题：Paper page - Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
AI 摘要
该论文提出 Factor-Aware Predictive Learning（FAPL），旨在让视频扩散 Transformer（DiT）有效利用多模态大语言模型（MLLM）的潜在表示，以支持稀疏时间输入下的电影级视频生成与角色、场景、动作、镜头等因素感知控制。方法分三阶段：冻结 MLLM 训练 DiT 的潜在表示接地、通过配对视频与因子跨度替换实现因子感知控制、冻结 DiT 反向优化 MLLM 与连接器以训练有限输入表示。实验表明其在稀疏到视频、因子感知编辑和多镜头生成三项任务上均优于基线。
正文节选
Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation Abstract Factor-Aware Predictive Learning enables video diffusion transformers to leverage multimodal language model representations for sparse temporal inference and factor-aware cinematic control through staged grounding and optimization. Cinematic video generation requires both temporal inference from limited inputs (i.e., sparse rather than frame-by-frame guidance) and factor-aware control of characte