AM-Bench发布：评估任务欠规范下的智能体表现

CUHK-SZ s4-lab的Kaiyu Huang等团队发布并开源AM-Bench基准，评估模型与执行框架组合在任务信息不完整条件下的表现。基准由48个任务改编自Terminal-Bench 2.0和Harness-Bench，每个任务含一个完整规定版本和六种变体，覆盖目标、背景、约束的模糊或缺失；团队评测了5个模型与4种执行框架的全部组合，共20,160次运行。 基于论文摘要的结果称：目标缺失妨碍任务完成，背景缺失增加token使用，约束缺失削弱合规性；信息缺失对成功率的影响大于歧义，且模型排名随模型—框架组合和评估指标变化。以上为论文摘要所述，本站未核验全文。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。