LeWAM：基于 JEPA 的端到端世界与动作建模

AI 摘要

研究团队提出 LeWAM，一种端到端联合嵌入预测架构（JEPA），通过联合训练下一潜在状态预测与动作流匹配，并对潜在状态施加各向同性高斯约束，使单一模型既能直接执行策略，也能借助学到的潜在动力学进行高效规划。在视觉规划任务上，LeWAM 将接触密集任务成功率从 28.6% 提升至 89.7%，长时程任务从 10.9% 提升至 46.2%，规划速度提升 32.3 倍（每次规划 19 毫秒）。该模型仅 17M 参数、单 GPU、一个超参数，并在仿真与真实机器人行为克隆任务上具备竞争力。

正文节选

LeWAM: End-to-End World and Action Modeling with JEPAs Abstract Joint-embedding predictive architectures (JEPAs) learn compact latent world models without pixel reconstruction. Existing JEPA pipelines typically train visual representations and action-conditioned dynamics before adding a control policy or solver. We introduce LeWAM, an end-to-end JEPA for control with: (1) a joint training objective over next latent state prediction and action flow matching, and (2) an isotropic Gaussian constrai

发布时间：—

抓取时间：2026-10-14 11:28

来源机构：Hugging Face