TheoPhysEval 评测AI Agent自主解决理论物理问题的能力
TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：A. Ramesh Chandra, Aaghaz Mahajan, Ainesh Sanyal, Mianqi Wang, Shubhadeep Chakraborty, Sudip Chakraborty, Shailesh Chandrasekharan, Rama Govindarajan, Akshit Goyal, Jonathan J. Heckman, Yasir Iqbal, Divya Jaganathan, Saumav Kapoor, Andreas Karch, Pushkar Khandare, Sandeep Krishna, Anupam Kundu, Alok Laddha, Tongyan Lin, Swarnendu Maity, Nilmani Mathur, Shani Nadir Meynet, Alessandro Mininno, Abhijeet Mishra, Vidur Niranjan, Abhishodh Prakash, Pratik Rath, Durbar Roy, Debargha Sarkar, Srikanth Sastry, Gary Shiu, Aninda Sinha, Thomas Van Riet, Praneeth Netrapalli, Suvrat Raju
TheoPhysEval提出50道答案可核验的未公开研究级理论物理问题，用于评测AI Agent在无人工提示下自主求解的能力。最佳Agent GPT-6-Astra结合Codex并使用文献搜索及数值、符号脚本工具，达到98%的最终答案准确率，每题平均成本低于3美元；取消网页搜索和背景论文访问后，各Agent准确率平均仅小幅变化，作者据此认为可能存在显著的文献记忆。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
该基准用50道可核验答案、未公开的理论物理研究题，测试AI Agent在文献检索及数值、符号脚本工具辅助下自主求解的能力；摘要报告最佳Agent达到98%准确率、每题平均成本低于3美元。去掉网页检索和背景论文后准确率仅小幅变化，提示文献记忆可能影响结果，但具体题级表现、提示配置和污染控制仍需结合全文判断。本站设想：可在统一工具权限、预算与专家盲测条件下，用延迟公开的新题集比较不同Agent，以区分真实自主推理与训练语料记忆。
来源：arXiv · Strongly Correlated Electrons · arxiv.org