跳到正文
热点事件持续更新

SkillForgeBench 评测 Agent 技能规格可靠性

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

论文作者团队发布 SkillForgeBench 基准,评估 Agent 对复杂程序化要求的严格满足能力。该基准以智能体技能规格为统一执行蓝图,包含五个专业领域的 842 个沙盒任务,通过资源准备、技能驱动任务合成和整体评测设计三个阶段构建。 在 8 个主流 Agent 的评测中,Opus 4.8 严格完成率最高,为 40.9%。结果显示 Agent 对过程性评分标准的满足远低于完成性标准,例如 Haiku 4.5 的过程标准满足率低于 3%。

AI 根据报道生成 · 41 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv · cs.AI
    SkillForgeBench:基于智能体技能规格评估 Agent 可靠性

    作者提出 SkillForgeBench,通过资源准备、技能驱动任务合成和整体评测设计三个阶段,评估 Agent 对复杂程序化要求的严格满足能力。该基准包含五个专业领域的842个沙盒任务;在8个主流 Agent 中,Opus 4.8严格完成率最高,为40.9%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。