论文提出表征承诺度量诊断LLM代理过早承诺

Aman Mehta与Anupam Datta在论文v2中提出“表征承诺”指标：用重复运行中同一步骤的隐藏状态相似性衡量LLM代理行为何时趋于稳定，以诊断过早承诺。在Llama-3.1-70B运行ReAct完成HotpotQA的实验中，第4步相似度与全轨迹波动呈负相关（r=-0.35），该模式还在另外两个模型和StrategyQA上复现。 但证据存在限制：HotpotQA上的这一结果在难问题上消失，答对与自信答错的问题分布重叠。作者还测试了承诺提示干预，相比token数对齐的填充提示可将波动降低28%，但经校正后相对标准代理不显著，且不能提升准确率。以上基于论文摘要。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。