arXiv · cs.AI· Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Zongwei Lv, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Guangxiang Zhao, Tong Yang·· 7 小时前
Harness-Bench：跨模型与真实工作流评估 Agent Harness
Harness-Bench: Evaluating Agent Harnesses across Models and Realistic Workflows
arXiv:2605.27922v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Zongwei Lv, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Guangxiang Zhao, Tong Yang
研究任务与主要进展
作者提出 Harness-Bench，用于评估不同模型后端与 Agent Harness 配置在真实工作流模式下的执行差异。该基准包含106个经人工审核的沙盒离线任务，并记录5,194条执行轨迹的最终产物、执行过程、使用统计和验证器输出；结果显示不同模型—Harness组合在完成度、过程质量、效率和失败行为上存在明显差异，支持按配置而非仅按基础模型报告 Agent 能力。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org