跳到正文
热点事件持续更新

GraphACM:用动作图度量LLM Agent行为一致性并预测任务成功

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Yaxin Ma 等研究者在 arXiv 发布 GraphACM 方法:对同一任务的多次执行,将等价状态合并为动作标注的有向图,使智能体能在共享决策状态上比较动作,从而细粒度度量行为一致性并用于不确定性量化。基于论文摘要,在三个 LLM 和 ALFWorld、AppWorld、WebShop 三个环境中,该方法预测任务成功的平均 AUROC 为 0.811,高于最强行为一致性基线的 0.729 和语言化置信度基线的 0.769。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv · cs.AI
    GraphACM:基于图的大语言模型智能体行为一致性度量与不确定性量化

    研究者提出 GraphACM,通过合并同一任务多次执行中的等价状态构建动作标注有向图,在共享决策状态上度量智能体行为一致性,并将其用于不确定性量化。基于论文摘要,在三个 LLM 和 ALFWorld、AppWorld、WebShop 上,该方法的任务成功预测平均 AUROC 为 0.811,高于最强行为一致性基线的 0.729和语言化置信度基线的 0.769。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。