跳到正文
热点事件观察中

EngTrace:面向工程推理的过程可验证评测基准

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

论文作者发布符号化基准 EngTrace,用于对工程推理做可验证的过程评估。基准由150个专家认证模板生成题目,覆盖5个分支、15个领域、42个方向,每题附带标准推理轨迹,使各中间量精确已知;评测器检查最终答案、标准轨迹中间量(里程碑)的覆盖情况和展示的算术,大部分不依赖 LLM 评审。 对11个 LLM 的评测显示,仅比较最终答案难以区分最强模型,但其推导过程存在差异;答案错误的模型仍包含约一半标准轨迹里程碑。领域专家认为多数错误源于计算失误,困难问题中概念错误更常见。

AI 根据报道生成 · 10 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · cs.AI
    EngTrace:用于工程推理可验证过程评估的符号基准

    作者提出 EngTrace 符号基准,用150个专家认证模板覆盖五个分支、15个领域和42个区域,并为每道题生成包含已知中间量的标准推理轨迹。对11个 LLM 的评测显示,仅比较最终答案难以区分强模型,但答案错误的模型仍包含约一半标准轨迹里程碑;领域专家认为多数错误源于计算失误,困难问题中的概念错误更常见。

本事件热度走势

可比范围当前
5
可比范围峰值
610月21日 06:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。