Kolab：115小时屏幕录制的人机协作基准

1. 12:00
   arXiv · cs.AI

   Kolab：长时程工作流中的人机协作基准

   研究者发布Kolab数据集与基准，收集50名来自40种职业的专业人士与Agent协作完成长时程真实问题的115小时以上屏幕录制，并提供协作与输出质量判断。基准测试发现，前沿Agent和非Agent模型都高估与专家的协作效果，且难以区分高质量与低质量协作；增加工作流上下文也未稳定改善预测。基于论文摘要，Kolab为研究真实专业工作流中的人机协作提供了数据与评测入口。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。