返回全部动态

世界嵌入基准:评估视频表征的物理信息编码

原标题:Paper page - World Embedding Benchmark

Hugging Face Daily Papers一手来源研究质量 82

AI 摘要

研究者提出 World Embedding Benchmark,包含来自 80 个物理家族、覆盖流体力学、固体力学、动力学和光学电磁学的 8,000 个受控仿真案例,每个案例配有渲染视频和仿真物理标注,支持文本-视频检索、物理属性回归和视频描述配对分类三项任务。评估显示预训练全模态嵌入模型检索能力弱、家族内配对分类接近随机,而轻量探针可从冻结视频嵌入中恢复有用物理信息;物理专用对比训练能提升检索和配对分类,但会降低物理属性回归性能,揭示对齐与定量信息可恢复性之间的权衡。研究还用嵌入为 MiniMax-H3 检索参考视频进行检索增强生成,发现更强的检索模型带来更高的生成物理保真度,并将开源仿真引擎、数据集、评估代码和模型检查点。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

Abstract Physical fidelity has received increasing attention in world models and video generation, yet how video representations encode physical information remains less understood. We introduce the World Embedding Benchmark, comprising 8,000 controlled simulation cases from 80 families spanning fluid mechanics, solid mechanics, dynamics, and optics & electromagnetism. Each case pairs a rendered video with simulation-derived physical annotations, supporting three complementary tasks: text-video


发布时间:—
抓取时间:2026-10-05 10:59
来源机构:Hugging Face
阅读原文huggingface.co