HexaShell：探索 VLM 智能体作为机器人编码智能体极限的薄封装

AI 摘要

研究团队提出 HexaShell，一个通过视觉和自写工具控制双臂机器人的编码智能体，在 RoboDojo 全部 42 项任务上取得 39.7% 成功率和 48.0 进度分，刷新该榜单最优成绩。该系统保持薄封装，仅将智能体命令转为机器人动作，智能体通过三路 RGB 相机与标定信息，在失败后读日志、定位原因并编写或修复小工具，以代码形式积累经验。其瓶颈在接触类任务而非推理：推动任务达 92.5%、记忆任务 65.0%，但紧密插入仅 8.3%。团队已开源目前演化出的工具。

正文节选

HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents Abstract HexaShell is a coding agent that controls a dual-arm robot via vision and self-written tools, achieving state-of-the-art results on RoboDojo but struggling with contact-heavy tasks. Agents built on vision language models (VLMs) now compete with learned policies on robot manipulation leaderboards. We ask how far a coding agent can go when it controls a robot instead of a computer, and where it stops.

发布时间：—

抓取时间：2026-10-20 04:36

来源机构：Hugging Face