全球首个可仿真人–场景交互重建框架 HSImul3R 发布
原标题:全球首个可仿真的人–场景交互重建框架 HSImul3R:让人类视频真正成为机器人技能来源
AI 摘要
大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布人–场景交互重建框架 HSImul3R,已被 ECCV 2026 接收。该框架提出物理闭环双向优化机制,将重力稳定性、真实接触与交互稳定性纳入重建标准,实现从视觉正确到物理可执行的转变。在 HSIBench 测试中,其交互稳定率显著高于 HSfM,穿模率从 69.51% 降至 22.90%,并成功将优化后的人体动作迁移至 Unitree G1 人形机器人,贯通从人类视频到真实机器人执行的完整链路。
正文节选
全球首个可仿真的人–场景交互重建框架 HSImul3R:让人类视频真正成为机器人技能来源 大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R 一段人坐上椅子的视频,对人类而言再普通不过。我们不仅能看见“人坐了下来”,还天然理解椅子承受人体重量,人与椅面形成接触并最终稳定,这些重力、接触与作用关系共同构成真实世界中的物理交互。但对今天的三维重建系统而言,“看见动作”与“重建真实交互”仍是两回事。一个视觉上准确坐在椅子上的人体,进入物理仿真后,椅子可能因结构缺失倒下,人体也可能与椅面严重穿模。视觉上成立,并不意味着物理交互上成立。 近日,大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R,直指三维视觉长期存在的“感知—仿真鸿沟”,推动三维重建从“视觉正确”走向“物理可执行”。该成果已被全球计算机视觉顶级会议 ECCV 2026 正式接收。不同于传统方法主要关注人和场景是否重建得像、是否对齐,HSImul3R 将重力稳定性、真实接触与交互稳定性纳入核心评价标准。团队将其定义为首个面向非