论文提出基于结局的Agent置信度校准方法

Ashutosh Hathidara发布论文，提出一种面向LLM智能体的置信度校准方法：在GRPO下用任务一组rollout的最终成败作为标签，用合适的评分规则监督多步任务中每一步的置信度，使逐步置信度对齐回合最终结局。 在ALFWorld、TextWorld和WebShop上对Qwen2.5-7B智能体的记录轨迹做离线强化学习，逐步置信度对回合结局的AUROC从接近随机升至0.68–0.85；在ALFWorld实况智能体的在线强化学习中，四种校准奖励提升了早期步骤的AUROC，期望校准误差从0.42降到0.12以下。数据均来自论文自述，未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。