arXiv · cs.AI· Yijia Mao, Song Dai, Tao Chen, Xiangyu Lu, Linqian Zeng, Chenxi Hu, Sitong Zhou, Dongyang He, Xiaodan Mao, Linxuan Zhang, Tong Zhu, Yafu Li, Fangchen Yu, Peng Ye, Feng He, Yu Cheng, Yun Luo·· 1 天前
PhysClosureBench:评估AI智能体完成物理学研究闭环的能力
From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
arXiv:2610.21767v1阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Yijia Mao, Song Dai, Tao Chen, Xiangyu Lu, Linqian Zeng, Chenxi Hu, Sitong Zhou, Dongyang He, Xiaodan Mao, Linxuan Zhang, Tong Zhu, Yafu Li, Fangchen Yu, Peng Ye, Feng He, Yu Cheng, Yun Luo
研究任务与主要进展
研究团队提出PhysClosureBench,用50项专家核验、目标明确的强场与阿秒物理等研究任务,评估AI智能体能否组织调查并以充分证据解决研究问题。在七个前沿大语言模型的三次评测中,Claude-Opus-5平均Atomic Score最高,为6.29/10,但仅32.7%的尝试达到RC4;总体上,36.2%达到至少8/10的尝试仍未完成研究闭环。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org