可预测代理系统的Harness工程：确定性执行约束的实证研究
原标题：Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints
AI 摘要
该研究通过实验证明，为LLM代理添加确定性执行层（有限状态控制器、强制单工具选择、输出验证、有界重试）对可复现性的影响是混合的：在四个模型-任务组合中，一个组合显著提升，两个显著降低，一个无显著影响。进一步诊断发现，自由文本规划步骤是剩余变异的主要来源；引入结构化规划（在执行前验证计划符合固定模式）后，所有组合的可复现性和确定性达到完美，任务成功率提升，但延迟影响因模型而异（Qwen变快，Gemma变慢）。研究表明，harness engineering是提升代理可靠性的有效方法，但其成本依赖模型，需实际测量。
正文节选
Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints Abstract Large Language Model (LLM) based agents exhibit substantial run-to-run execution variance even when given identical tasks, tools, and environmental conditions — a property that is acceptable for exploratory use but operationally unacceptable in regulated domains such as finance, compliance, and auditing. We study harness engineering: wrapping an agent in a deterministic execut