自动评审误差削弱UQ评估可靠性

Evgenia Ilia与Wilker Aziz发现，LLM自动评审器的表现只能粗略预测其误差对不确定性量化（UQ）评估可靠性的影响，且评审错误最容易误述信息量较高的UQ，根源与置信度和正确性的相关性及错误模式有关。 论文基于问答实验，比较4个LLM、人类与自动评审在7种UQ上的结果；其元分析还显示，自动评审已是常见做法，但很少用人类判断核验，对自动评审所评估的UQ可靠性进行验证更少。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。