arXiv · Materials Science· Chenmu Zhang, Levi Felix, Jun-Jie Zhang, Xingfu Li, Xuelian Jiang, Tao Jiang, Subhendu Mishra, Xixi Qin, Boris Yakobson·· 7 小时前
CompMat-Bench：计算材料科学 AI Agent 基准评测
CompMat-Bench: Benchmarking AI Agents for Computational Materials Science
arXiv:2610.00636v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Chenmu Zhang, Levi Felix, Jun-Jie Zhang, Xingfu Li, Xuelian Jiang, Tao Jiang, Subhendu Mishra, Xixi Qin, Boris Yakobson
研究任务与主要进展
研究团队提出 CompMat-Bench，包含 94 个源自近期计算材料研究的任务，用于评测 AI Agent 完成材料研究步骤和科学工作流的能力。基于论文摘要，基准通过预先复现昂贵模拟的输入与结果，以固定规则评分而不依赖 LLM 评审；在完整指导的单任务条件下，基于三个 LLM 的 Agent 通过率为 66.0%–90.4%。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · Materials Science · arxiv.org