无问芯穹联合清华上交开源具身端侧推理引擎APXInf
原标题：上海AI独角兽，开源具身端侧推理引擎，延迟降至26ms
AI 摘要
无问芯穹联合清华大学、上海交通大学正式开源具身端侧推理引擎APXInf，支持RTX 4090、Jetson Orin、Jetson Thor等主流计算平台。该引擎在Jetson Thor上将PI 0.5 FP8的端到端推理延迟从278ms降至26ms以内，达到46Hz推理频率，并采用Rust极简运行时与Python接口兼顾稳定性与易用性。APXInf作为RLinf开源生态的端侧推理项目首发，覆盖从模型训练、效果验证到机器人本体部署的完整链路。
正文节选
机器人前瞻（公众号：robot_pro） 作者 | 刘俐杉 编辑 | 许丽思 机器人前瞻9月15日报道，今天，无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf。 如今的具身模型已经能够看懂环境、理解指令，并把看到的、听到的信息转化为机器人该怎么做的决策。 但当一个在云端运行良好的具身模型，放到机器人本体上，让它落地干活时，“模型够不够聪明”已经不是首先要面对的问题，推理系统才是让具身智能规模化落地的关键。 此次开源的具身端侧推理引擎APXInf，不仅能够让具身模型在真实机器人上能够“跑起来”，更希望可以在有限资源下“跑得够快、够稳，也足够容易接入拓展和持续迭代”。 APXInf支持RTX 4090、Jetson Orin、Jetson Thor等主流计算平台，覆盖从模型开发、效果验证到机器人本体部署的完整链路。 同时在Jetson Thor上，该推理引擎让PI 0.5 FP8实现端到端推理延迟从278ms降低至26ms以内；在 FP8下达到46Hz推理频率，满足机器人多场景下实时控制对推理频率和响应延迟的要求。 开源地址： - GitHub：https://github.co