PHRBench评测模型幻觉后纠错

Meng等人提出PHRBench，并在4个领域、18个大语言模型和4820个受控实例中评测模型接收幻觉信息后的推理行为。结果显示，成功纠正错误前提并给出正确答案仍较少，且与推理过程中更频繁的信念更新相关。 该基准不只判断最终答案，而是从响应轨迹区分幻觉遵循、幻觉回避和启发式纠正，将成功纠正且最终答对定义为“有洞察力的轨迹”。研究者还报告，基于幻觉提示特征的轻量预测器预测成功恢复的AUROC为0.847；这些结论仅基于论文摘要。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。