银河通用与清华提出LATENT:用不完美人类数据让人形机器人学会网球对打
原标题:银河通用&清华 LATENT:用「不完美人类数据」让机器人学会网球对打 | IROS 2026
AI 摘要
银河通用GaLbot团队联合清华大学、北京大学、上海启智研究院和上海人工智能实验室提出LATENT方法,用5名业余选手约5小时的不完美人体动作数据训练人形机器人网球技能。该方法先训练运动追踪器并压缩为潜在动作空间,再结合强化学习与Latent Action Barrier约束,并在仿真中随机化动力学与观测噪声以提升sim-to-real能力。在Unitree G1真机上,正手回球成功率达90.90%、反手77.78%,但真机验证仍依赖大规模动作捕捉系统。
正文节选
如果你玩过《Mario Tennis》或者《TopSpin》,大概不会觉得打网球是一件特别复杂的事。球飞过来,移动人物,判断落点,在合适的时机按下击球键。尤其在《Mario Tennis Aces》里,游戏甚至把网球进一步拆成了一套很直观的动作语言:正手、反手、上旋、切削、吊高球,甚至还有需要精确卡点才能完成的特殊击球。现实里的网球当然远比这些复杂,游戏做的事情是“动作映射”(action mapping),本质上是把玩家一个非常抽象的“按键操作”,映射成角色一整套复杂的身体动作。玩家不需要知道这个动作是怎么完成的,因为中间的运动控制被游戏系统接管了。球什么时候落地、身体什么时候转腰、脚要往哪边迈、手臂应该以多大的速度挥出去,这些事情在游戏里几乎都被隐藏。玩家看到的只是一个简单的输入,游戏引擎负责把它翻译成一连串完整的身体动作。哪怕球飞得再快,角色也不会因为来不及调整重心而站不稳,更不会因为脚下慢了一步,整个人失去平衡。但如果把这个“按一下就能挥拍”的角色换成一台真正的人形机器人,“具身性”将会使事情变得完全不一样。具身智能则要求机器人重新承担这个被游戏隐藏起来的身体过程,即从意图到动