arXiv · cs.AI· Kai Tzu-iunn Ong, Minseok Kang, Dongwook Choi, Junhee Cho, Seungju Kim, Seungwon Lim, Geunha Jang, Minwoo Oh, Bogyung Jeong, Sunghwan Kim, Taeyoon Kwon, Jihye Han, Juyoung Wy, Jinyoung Yeo·· 1 天前
通过优先级排序直接评估 Harness 优化器
Towards Direct Evaluation of Harness Optimizers via Priority Ranking
arXiv:2605.22505v3阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Kai Tzu-iunn Ong, Minseok Kang, Dongwook Choi, Junhee Cho, Seungju Kim, Seungwon Lim, Geunha Jang, Minwoo Oh, Bogyung Jeong, Sunghwan Kim, Taeyoon Kwon, Jihye Han, Juyoung Wy, Jinyoung Yeo
研究任务与主要进展
论文提出优先级排序方法，直接评估 Harness 优化器对 Agent harness 中工具等组件的更新判断，并通过排序潜在影响而非仅观察 Agent 最终性能来衡量优化器的步骤级能力。作者在包含182个人工验证优化场景的SHOR集合上进行评估，摘要报告排序表现与多步 Harness 优化中的 Agent 改进能力相关；代码和数据已提供于GitHub。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org