OpenVLHarness：带多模态记忆的真实世界视觉智能体工具使用

AI 摘要

研究者提出 OpenVLHarness，一个面向多模态大模型的可视化智能体工具使用框架，通过能力层（统一异构工具接口与证据渲染）和持久多模态记忆（保留图像、结构化数据与网页引用）支持迭代式证据获取与组合。在 22 个基准上，使用 8 个开源与专有骨干模型评测，平均得分比无工具基线提升 9.7-12.6 分，其中 Qwen3-VL-8B 提升 11.2 分、Kimi K3 提升 9.7 分、GPT-6 Astra 提升 9.9 分。在 GPT-6 Luna 中等推理强度下，其表现超过基线模型、Codex 和 Visual Sketchpad 的最高强度结果 7.7-8.5 分，且模型 token 成本至多为后者的 37%。

正文节选

OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory Abstract OpenVLHarness improves multimodal reasoning by integrating persistent memory, heterogeneous tool interfaces, and iterative evidence composition across 22 benchmarks. Multimodal large language models (MLLMs) have made rapid progress on visual reasoning, yet many tasks require evidence that is difficult to obtain through internal reasoning alone: our controlled study on 22 benchmarks shows that simply increasing the

发布时间：—

抓取时间：2026-10-20 12:55

来源机构：Hugging Face