arXiv · cs.AI· Zhengxi Li, Junyi Zhou, Qiyuan Zhang, Chuhan Wu, Fuyuan Lyu, Le Tian, Xiao Zhou, Chen Ma, Yufei Wang·· 5 小时前
SkillForgeBench：基于智能体技能规格评估 Agent 可靠性
SkillForgeBench: Evaluating Agent Reliability Grounded in Agent Skill Specifications
arXiv:2610.14918v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Zhengxi Li, Junyi Zhou, Qiyuan Zhang, Chuhan Wu, Fuyuan Lyu, Le Tian, Xiao Zhou, Chen Ma, Yufei Wang
研究任务与主要进展
作者提出 SkillForgeBench，通过资源准备、技能驱动任务合成和整体评测设计三个阶段，评估 Agent 对复杂程序化要求的严格满足能力。该基准包含五个专业领域的842个沙盒任务；在8个主流 Agent 中，Opus 4.8严格完成率最高，为40.9%。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org