研究指出Agent失败检测性能大量来自结构基线

Ramesh Arvind Naagarajan 和 Stefan Streif 发布 arXiv 论文，指出 LLM 智能体失败检测与归因研究中报告的性能有相当部分来自无需读取运行过程的结构性规律：失败运行往往更长，且被标注为决定性的步骤通常就是最后一步。始终选择最后一步的规则在不读运行内容的情况下准确率达 67%—96%。 在该结构基线校正下，可由重放确认决定性步骤的失败上基线降至接近随机水平；论文所测方法在放弃型失败上没有额外收益，而已发表的若干系统在其他数据划分上仍保持明显优势。检测方面，基于智能体内部状态的监控在该智能体基准上优于运行长度和文本相似度，并在文本基线失效处仍然有效。 论文同时指出，失败稀少时监控器精度仍低，因此更适合对运行排序供人工复核，而非替代复核。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。