世界嵌入基准:评估视频表征的物理信息编码
原标题:Paper page - World Embedding Benchmark
AI 摘要
研究者提出 World Embedding Benchmark,包含来自 80 个物理家族、覆盖流体力学、固体力学、动力学和光学电磁学的 8,000 个受控仿真案例,每个案例配有渲染视频和仿真物理标注,支持文本-视频检索、物理属性回归和视频描述配对分类三项任务。评估显示预训练全模态嵌入模型检索能力弱、家族内配对分类接近随机,而轻量探针可从冻结视频嵌入中恢复有用物理信息;物理专用对比训练能提升检索和配对分类,但会降低物理属性回归性能,揭示对齐与定量信息可恢复性之间的权衡。研究还用嵌入为 MiniMax-H3 检索参考视频进行检索增强生成,发现更强的检索模型带来更高的生成物理保真度,并将开源仿真引擎、数据集、评估代码和模型检查点。
正文节选
Abstract Physical fidelity has received increasing attention in world models and video generation, yet how video representations encode physical information remains less understood. We introduce the World Embedding Benchmark, comprising 8,000 controlled simulation cases from 80 families spanning fluid mechanics, solid mechanics, dynamics, and optics & electromagnetism. Each case pairs a rendered video with simulation-derived physical annotations, supporting three complementary tasks: text-video