SciΠvot基准：科研Agent关键节点判断力低于人类

1. 12:00
   arXiv · cs.AI

   SciΠvot：科学AutoResearch Agent关键节点科研判断基准

   研究者构建了包含248个案例的SciΠvot基准，用于评估LLM Agent在科研项目关键节点选择原始计划还是资深研究者纠正方案的科学判断。基于六个月、26个项目和六个科学领域的干预记录，测试显示四个前沿模型在所选案例中的表现低于随机水平；在项目上下文条件下，测试模型最高准确率为63.5%，低于新研究人员的73.4%。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。