衡量规范决定内容:形式化语义块模型与执行判断基准
原标题:Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark
AI 摘要
EPAM Systems 的研究者提出了一种正式的语义块模型和基于执行判断的基准,用于评估规范质量,独立于模型能力。该模型将规范表示为语义块、依赖关系、规则等结构,并定义了四个机器可检查的良构条件。在 Oracle 到 PostgreSQL 迁移规范上的实验表明,完整规范将干净加载输出从 72.0% 提升至 97.3%,但跨实现者一致性仅从 83.1% 变为 83.8%,且规范固定的决策未显示一致性增益。研究支持将确定性视为一种可测量的规范属性。
正文节选
[Page 1] Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark Oleg Grynets Dmytro Kostetskyi Vasyl Lyashkevych EPAM Systems EPAM Systems EPAM Systems McLean, Virginia, USA Lviv, Ukraine Lviv, Ukraine oleg_grynets@epam.com dm