PaperBenchX：GPT-6 Astra论文复现率仅13.98%
原标题：ChatGPT踢到铁板了！能破解千禧数学难题，但论文复现率低至13.98%？
AI 摘要
UniPat AI 发布 PaperBenchX，这是首个多学科端到端论文结果复现基准，从 93 篇论文构建 93 个复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。测评显示表现最强的 GPT-6 Astra 完整复现率仅 13.98%，建模与执行阶段得分约 62%，验证阶段仅 42.80%。该工作指出当前 AI 能跑通部分流程但难以完成可信的端到端科学复现，并开源 12 个测试任务、保留 81 个封闭任务。
正文节选
ChatGPT踢到铁板了！能破解千禧数学难题，但论文复现率低至13.98%？ PaperBenchX为代表的基准或许能更好地衡量AI的科研实力 允中 发自 凹非寺 量子位 | 公众号QbitAI OpenAI最近真是频频往数学界扔重磅炸弹。 上个月，OpenAI宣布其AI模型仅用88小时，便攻克了困扰人类百年的千禧年七大顶级数学难题之一——N-S方程；昨天，又放出722篇数学手稿，千禧难题又有仨。 但在UniPat AI发布的PaperBenchX测评中，面对93个真实论文复现任务，表现最强的GPT-6 Astra，完整复现率却只有13.98%。 △10组受测配置在93个复现任务上总体与分阶段表现 随橙想！当前模型已经能取得破解千禧年数学难题这样的伟大突破，但很少能完成一次可靠的端到端科学复现。 （正经脸）这引发了一些思考：在广泛的AI for Science领域中，我们要以什么标准判断「做对了科学」？本着严谨踏实的科研态度，迈向AI数学家乃至General AI Scientist的第一步到底是什么？我们又该如何形成一套可验证、可比较的标准，真正衡量AI在科学研究上的进步？ 该用什么