arXiv · cs.AI· Zichuan Xu, Yuyang Dong, Makoto Onizuka, Chuan Xiao·· 7 小时前
ToolBottleneckBench:在固定 Harness 预算与可控压力下测量工具 Agent 性能
ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
arXiv:2610.21098v1阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Zichuan Xu, Yuyang Dong, Makoto Onizuka, Chuan Xiao
研究任务与主要进展
作者提出 ToolBottleneckBench,在固定 harness 预算下测量工具 Agent 面对可控压力时的性能,并公开基准。基于论文摘要,在21种模型与 harness 配置中,可见工具菜单是唯一造成较大模型惩罚的压力;将完成上限提高十六倍可消除多数截断严重配置中的惩罚。多数失败源于 harness 限制,且压力记录并不比工具调用次数更可靠。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org