Bench2Robust 基准：工具使用智能体故障恢复能力评估

Chaoran Chen 等研究者发布 Bench2Robust 论文，提出一个情景可控可解性框架：在现有基准上加入要求重试原路径、切换到等价备用工具、或识别无可用路径的回合，以分离工具失败时智能体恢复策略质量与故障随机性。 在覆盖客服与函数调用基准的 7 个模型（4 个家族）、10 个任务切片的测试中，70 个模型-子集组合有 69 个在工具故障下性能下降，最多达 46.7 个百分点。 作者还提出两种恢复方法：在保留的 Retail 任务上（使用基准原始工具集），Bayesian Tool Memory 无需重训即可将鲁棒性提高 16.8 个百分点；RL 方法则无需推理时 BTM 仍保留 6.3 个百分点的增益。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。