无问芯穹联合清华上交开源具身端侧推理引擎APXInf
原标题:无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA
AI 摘要
无问芯穹联合清华大学、上海交通大学正式开源具身智能端侧推理引擎APXInf,支持RTX 4090、Jetson Orin、Jetson Thor等平台,覆盖模型开发到机器人本体部署的完整链路。APXInf将PI 0.5 FP8在Jetson Thor上的端到端推理延迟从278ms降至26ms以内,达到38.46Hz推理频率,并采用Rust极简运行时加Python接口提升稳定性与易用性。该引擎作为RLinf开源生态的端侧推理项目首发,衔接具身模型训练与本体部署环节。
正文节选
无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA 卡位具身智能规模化落地“最后一公里”! 今天的具身模型,已经能够看懂环境、理解指令,并把看到的、听到的信息转化为机器人该怎么动的决策。但机器人最终还是要在物理世界里连续干活——从“眼睛看到”到“大脑决策”再到“手脚动起来”,整套流程都需要在极短的时间内完成闭环,这也是具身智能从 Demo 走向规模化应用,绕不开的核心关卡。 而当一个在云端运行良好的具身模型,放到机器人本体上,首先要面对的问题往往不是“模型够不够聪明”,而是推理系统本身: - 模型部署到机器人上,能不能开机秒加载? - 机器人本体的算力资源有限,能不能榨干端侧每一分算力? - 每一次推理的延迟,能不能低到不拖后腿的程度? - 开发环境里跑得好好的模型,到了机器人本体上,能不能稳定不翻车? 对于云端的聊天机器人而言,几百毫秒的延迟或许只是体验上的细微差异;但对于需要持续感知、连续决策和实时控制的机器人而言,几百毫秒带来的可能是动作迟滞、轨迹不连贯,甚至多次任务的失败。 而当机器人走向规模化落地,还会叠加另一笔更加现实的“经济账”:算力成本