跳到正文
热点事件观察中

ResearchFlow-Eval:评估端到端自动科研系统的流程级基准

2 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

清华大学等机构研究团队提出ResearchFlow-Eval,一个面向端到端自动科研系统的细粒度评估框架,在研究阶段和主张两个层面衡量系统在连续、多阶段流程中对相互依赖主张的执行与迭代能力。团队结论是:所有受测系统的实验执行均落后于设计与规划,重复尝试通常未带来可测改进,技能增强和研究专用编排也未稳定提升得分。 框架以已发表论文为锚点,从中导出按研究阶段拆分的评分标准,将各阶段分解为维度和单独计分的评分项。团队用该框架评测了通用Agent、技能增强Agent和研究专用编排系统三类系统。 以上结论基于论文摘要,本站未核验全文。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv · cs.AI
    ResearchFlow-Eval:追踪端到端多主张自动科研的执行差距

    ResearchFlow-Eval 提出一个面向连续科研流程的细粒度评测框架,以已发表论文为锚点,按研究阶段和主张拆分评分标准。论文摘要显示,实验执行明显落后于设计与规划,系统难以产出高质量结果并满足主张要求,重复尝试通常也未带来可测改进;技能增强和研究专用编排未稳定提升得分。

  2. arXiv · cs.AI
    ResearchFlow-Eval 评估端到端多主张自动科研的执行差距

    ResearchFlow-Eval 提出细粒度评估框架,用于衡量自动科研系统在连续、多阶段研究流程中对相互依赖主张的执行与迭代能力。框架以已发表论文为锚点,按研究阶段拆分评分标准,并比较通用 Agent、技能增强 Agent 和研究专用编排系统。基于论文摘要,所有受测系统的实验执行均落后于设计与规划,重复尝试也较少带来可测改进。

本事件热度走势

可比范围当前
4
可比范围峰值
810月14日 20:00
近 24 小时变化
-51%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。