arXiv · cs.AI· Evgenia Ilia, Wilker Aziz·· 1 天前
自动评判器在不确定性量化评估中的错误类别与隐蔽权衡
A Tale of Two Error Categories: Exploring Concealed Trade-Offs in the Errors of Automated Judges in Evaluation of Uncertainty Quantifiers
arXiv:2610.09693v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Evgenia Ilia, Wilker Aziz
首次提交：2026-10-07 16:52
研究任务与主要进展
一项元分析与问答实验发现，自动评判已是当前常态，但很少与人类判断核验，自动化的UQ评估验证更少。基于4个LLM、人类与自动评判及7种UQ的实验显示，评判器表现只能粗略预测其错误对UQ评估可靠性的影响，且评判错误最容易误述信息量较高的UQ，这与置信度和正确性之间的相关性及错误类别模式有关。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org