跳到正文
热点事件持续更新

Who&When Pro 基准发布:评测模型对 AI 代理失败的归因能力

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究者发布 Who&When Pro,一个用于评估大语言模型能否对 AI 代理失败进行归因(判断失败主体与发生时间)的基准数据集。 该基准通过严格控制的流程构建:先精确重放成功轨迹前缀,再注入一次失败,由此生成 12,326 条带黄金标签的失败轨迹,覆盖 3 种模态和 26 个基准。作者基于论文摘要报告了相关实验与分析,称其旨在为自动失败归因系统提供经验参考。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv · cs.AI
    Who&When Pro:大语言模型能否归因 AI 代理失败?

    研究者提出 Who&When Pro,用于评估大语言模型识别 AI 代理失败主体与发生时间的能力。该基准通过在精确重放成功轨迹前缀后注入一次失败,构建了覆盖3种模态、26个基准和12,326条失败轨迹的标准标注数据集。作者基于论文摘要报告了相关实验与分析,旨在为自动失败归因系统提供经验参考。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。