NVIDIA 李柏依：机器人需学会听，MultiGen 与 DexImit 补全感知与操作数据
原标题：NVIDIA 李柏依：机器人只会「看」还不够，它还得学会「听」| ECCV 2026
AI 摘要
NVIDIA Research 科学家、UC Berkeley 研究者李柏依在 ECCV 2026 Workshop 上分享了两项具身智能工作。MultiGen 利用扩散模型为物理模拟器生成的视频补上同步音频，构建多模态数据集以训练同时利用视觉和声音的机器人策略，在倒水等任务中提升了鲁棒性。DexImit 则从单目人类视频中恢复手与物体的 4D 交互轨迹，经子任务分解、物理约束与运动规划生成机器人双手灵巧操作数据，并已开源。
正文节选
倒水时，声音可以帮助判断杯子是不是快满了；物体发生碰撞时，不同材质会发出不同的声音；一个人在小房间和大房间里说话，空间回声也不一样。然而，这些人类习以为常的多模态感知，以及诸如切苹果、叠杯子这类极其复杂的双手灵巧操作，在机器人的训练阶段却面临着极其高昂的“数据采集壁垒”。当机器人需要的数据很难直接采集，传统物理仿真又补不全这些信息时，还有没有别的办法？在 ECCV 2026 主题为“Visual Perception and Reasoning in the Interactable World”的Workshop上，NVIDIA Research 科学家、UC Berkeley 研究者李柏依（Boyi Li）通过线上连线分享了她近期在这一方向上的两项工作。她博士毕业于康奈尔大学，师从 Serge Belongie 与 Kilian Q. Weinberger，之后在 UC Berkeley 与 Jitendra Malik、Trevor Darrell 开展研究，目前研究重点包括具身智能中的高效多模态、泛化建模和交互智能系统。面对这些难以直接采集的数据，她尝试了两条不同的路径：模拟器