发布OmniStepBench多模态Agent评测基准

Yu Liu 等研究者在 arXiv 提出部署感知的 Agent 评测基准 OmniStepBench，用于跨输入模态和执行形式评估 Agent，并在统一环境下对42个模型进行了大规模评测。 该基准基于22个来源基准整理出233个任务，按输入模态与执行形式构成 2×3 工作负载矩阵，在统一的 OpenClaw 执行环境和合同式评分协议下评测30个商业 API 模型和12个本地部署开源权重模型，共进行9,218次适用模型—任务运行，报告准确率、Token 消耗，API 模型另附参考成本。基于论文摘要，结果显示模型排名随工作负载变化，文本与多模态任务存在不同的准确率—成本权衡。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。