具身ICL创业潮起:可可矩阵押注上下文Scaling新赛道
原标题:具身ICL来了创业玩家!上下文成Scaling新赛道
AI 摘要
量子位报道称,具身智能领域正兴起In-Context Learning(ICL)创业热潮,Skild AI和Generalist AI分别发布机器人基础模型S1和GEN-1.5,展示机器人通过观看示范视频即可学习新任务,无需微调。国内创业公司可可矩阵(COCO Matrix)致力于将ICL作为具身智能的底层范式,其创始人高宇翔认为,具身智能的Scaling方向正从数据规模转向上下文长度和在线学习能力,并强调“强理解,轻生成”的技术路线。
正文节选
具身ICL来了创业玩家!上下文成Scaling新赛道 让机器人学会利用更长的多模态Context 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 2020年,GPT-3靠“看几个示例就会新任务”震动了NLP界;六年后的今天,同样的故事正在具身智能领域上演。 没错,就是In-Context Learning。 8月中旬,Skild AI发布机器人基础模型S1。只需要给机器人看一遍任务演示视频,它可以在不微调、不做额外post-training的情况下,尝试完成此前没有训练过的新任务。任务时长可达10分钟,包含几十个操作步骤。 Skild在(训练数据)见过的任务和未见过的任务上,对比了ICL视频Prompt和传统的语言Prompt VLA。 测试结果表明,当训练数据只有1000小时时,语言Prompt效果更好,而随着数据规模增加,ICL开始反超。对于未见任务,加入视频context后,模型表现相比只用语言指令提升约7倍。 S1发布的一周之前,Generalist AI发布GEN-1.5,同样把One-Shot Learning作为核心能力。机器人只看一个示范,就能在数秒内学习新任务,