AI生成数据库规格说明的防泄漏评估基准
原标题：Leakage-Resistant Evaluation of AI-Generated Database Specifications in Specification-Driven Migration
AI 摘要
EPAM Systems 的研究者提出 LRFB 框架与基准，用于在防泄漏条件下评估 AI 生成的 Oracle PL/SQL 数据库规格说明。基准包含 494 个带标签的源-规格对、19 项质量指标和七个维度，并通过 canary 与标签置换测试验证基准有效性。在 247 条留出记录上，GPT-4o、DeepSeek V4 Pro 和 Claude Sonnet 4.5 的平衡准确率分别为 0.87、0.89 和 0.81，但均未显著优于规格长度基线；不过评审模型能提供长度基线无法给出的缺陷类别与证据定位信息。
正文节选
[Page 1] Leakage-Resistant Evaluation of AI-Generated Database Specifications in Specification-Driven Migration Oleg Grynets Ivan Fedorchuk Vasyl Lyashkevych EPAM Systems EPAM Systems EPAM Systems McLean, Virginia, USA Vinnytsia, Ukraine Lviv, Ukraine oleg_grynets@epam.com