推测宏提交：加速工具使用型代理的新机制
原标题：Speculative Macro Commit for Faster Tool-Using Agents
AI 摘要
南加州大学和英特尔实验室的研究者提出了一种名为 Speculative Macro Commit (SMC) 的运行时机制，用于加速工具使用型 LLM 代理。SMC 采用双模型架构，由权威模型生成官方轨迹，而快速的推测模型在隔离环境中预执行未来动作链，并通过挖掘重复的多动作模式进行宏提交。实验表明，SMC 在保持任务准确性的同时，相比顺序执行和 Speculative Actions 基线显著降低了延迟，例如在 -Bench Telecom 子集上延迟降低 18.59% 和 10.23%。该研究为多步推测执行的重用提供了实用方法，代码已公开。
正文节选
Speculative Macro Commit for Faster Tool-Using Agents Abstract Tool-using LLM agents spend wall-clock time not only on model inference but also in serial action–observation turns, where each tool call, environment transition, and observation can delay subsequent decisions. We introduce Speculative Macro Commit (SMC), a runtime mechanism for a two-tier agent system: a large authoritative actor model produces the official trajectory, while a faster speculative drafter model continuously predicts a