arXiv · cs.AI· Hongcheng Gao, Hailong Qu, Yu Lei, Henghui Sun, Haoyang Li, Yipeng Wei, Naihao Xue, Xiaohan Yu, Zhuo Tao, Yihe Zang, Yajiao Wang, Jingyi Tang, Yi Li, Jingjing Zhou, Jie Luo, Bohan Zeng, Chengyu Shen, Hao Jiang, Chong Chen, Bowen Qu, Olive Huang, Zeqiang Wang·· 5 小时前
EngiWorld:前沿智能体在专业工程环境中的评测基准
EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?
arXiv:2609.37686v2阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Hongcheng Gao, Hailong Qu, Yu Lei, Henghui Sun, Haoyang Li, Yipeng Wei, Naihao Xue, Xiaohan Yu, Zhuo Tao, Yihe Zang, Yajiao Wang, Jingyi Tang, Yi Li, Jingjing Zhou, Jie Luo, Bohan Zeng, Chengyu Shen, Hao Jiang, Chong Chen, Bowen Qu, Olive Huang, Zeqiang Wang
研究任务与主要进展
EngiWorld是一个面向专业工程环境的智能体评测基准,覆盖CAD、CAE、CAM、BIM、EDA和DCC六个工程领域、26款软件及1,301个专家整理任务,支持GUI和CLI操作。该基准采用以产物为中心的评估方法,通过领域验证器检查最终和中间产物的几何有效性、物理可行性及设计规则符合度。基于论文摘要,七个前沿模型最高得分仅为44.7/100,需要跨软件协调的任务成功率仅为3.6%。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org