arXiv · cs.AI· Ayesha Gull, Muhammad Usman Safder, Rania Elbadry, Fan Zhang, Veselin Stoyanov, Preslav Nakov, Zhuohan Xie·· 2 天前
EngTrace：用于工程推理可验证过程评估的符号基准
EngTrace: A Symbolic Benchmark for Verifiable Process Evaluation of Engineering Reasoning
arXiv:2511.01650v4阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Ayesha Gull, Muhammad Usman Safder, Rania Elbadry, Fan Zhang, Veselin Stoyanov, Preslav Nakov, Zhuohan Xie
研究任务与主要进展
作者提出 EngTrace 符号基准，用150个专家认证模板覆盖五个分支、15个领域和42个区域，并为每道题生成包含已知中间量的标准推理轨迹。对11个 LLM 的评测显示，仅比较最终答案难以区分强模型，但答案错误的模型仍包含约一半标准轨迹里程碑；领域专家认为多数错误源于计算失误，困难问题中的概念错误更常见。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org