编码智能体是否遵循 AGENTS.md?策略措辞对指令遵循的影响
原标题:Do Coding Agents Follow AGENTS.md? The Effect of Policy Wording on Instruction Compliance
AI 摘要
奈良先端科学技术大学院大学等机构的研究者研究了编码智能体是否遵循 AGENTS.md 等 Agent Context File(ACF)中的策略,以及策略措辞风格对遵循率的影响。他们在 86 个基准任务、四种 harness–模型组合中,将同一条策略以四种风格插入 ACF,发现条件式措辞的遵循率低于规定式和解释式,而规定式与解释式孰优孰劣因组合而异。该研究表明策略写法会改变智能体的遵循率,且效果在不同模型与 harness 组合间不一致。
正文节选
D \authorlist\authorentry[tsuchida.rikuto.tq5@naist.ac.jp]Rikuto Tsuchidannaist\MembershipNumber \authorentry[fan.youmei.fs2@is.naist.jp]Youmei Fannnaist\MembershipNumber \authorentry[shimari@wakayama-u.ac.jp]Kazumasa Shimarinwakayama\MembershipNumber \authorentry[raula-k@ist.osaka-u.ac.jp]Raula Gaikovina Kulanosaka\MembershipNumber \authorentry[matsumoto@is.naist.jp]Kenichi Matsumotofnaist\MembershipNumber8925358 \affiliate[naist]The authors are with the Nara Institute of Science and Technology