arXiv · cs.AI· Xiang Zhang, Lovedeep Gondara, Jekaterina Novikova·· 1 天前
金融问答无标签评估揭示一致性—准确性解离盲点
When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation
arXiv:2610.21128v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Xiang Zhang, Lovedeep Gondara, Jekaterina Novikova
研究任务与主要进展
Xiang Zhang、Lovedeep Gondara和Jekaterina Novikova发现，在四个金融问答数据集、十个一致性维度和两个前沿模型家族的实验中，60%的错误答案处于高一致性区域，其中77.7%在所有扰动变体中给出完全相同的错误答案。该现象在一致性阈值0.50至1.00范围内持续存在，单纯依赖一致性的评估信号无法检测这一高一致性错误象限。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org