蚂蚁灵波开源触觉基础模型LingBot-Touch
原标题:Token卷到触觉了!机器人终于有了通用手感
AI 摘要
蚂蚁灵波开源触觉预训练基础模型LingBot-Touch,通过将磁触觉、视触觉、压阻式触觉等异构传感器信号统一编码为触觉Token,解决原始触觉数据稀疏、噪声大导致动作模型成功率下降的问题。实验显示,接入该模型后π0.5在拉拉链任务成功率从15%升至59%,XHand上6项任务平均成功率从48%升至74.17%,且仅增加0.13%-0.16%参数量。该模型与LingBot-VLA、LingBot-Depth融合,并已与乐聚、钛虎等伙伴在零售、物流、工业场景开展商业化测试。
正文节选
Token卷到触觉了!机器人终于有了通用手感 蚂蚁灵波开源LingBot-Touch 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 太反差了。 明明给机器人装上了触觉,它咋就变得更笨了呢…… 事情是这样的。 最近有个团队做了个实验,他们在Sharpa Wave灵巧手的五个手指上都装上了触觉传感器,任务是让它把一个袋子的拉链拉上。 他们选用的动作模型是π0.5,在只靠摄像头的情况下,成功率来到了39%。 然后团队再把指尖传感器的读数原封不动地喂给它,按理来说,机器人多了一种感官,应当是拉拉链会更得心应手一些。 但您猜怎么着。 AUV(哎呦喂)……成功率直接掉到了15%! 而且这还不是个例。 同样是Sharpa Wave灵巧手和π0.5这个组合,接上原始触觉后去做交接盒子的任务,成功率从57%掉到48%。 即便是把灵巧手换成XHand,6项任务平均下来,成功率也从49.71%降到了48%。 那么机器人多了一种感官,反倒变得笨手笨脚的原因到底是什么? 答案是,问题出在了读数这件事儿上。 因为触觉数据和其它数据还不太一样,机器人的手指大部分时间是不接触物体的,所以读数差不多就是一大片“