CAP诊断LLM评审器的条件失效

Wenqi Li等提出后验诊断框架CAP，将成对LLM评审器的准确率拆分为内容敏感性、鲁棒性和理由质量三类下的八种条件，并在7个评审器、6个成对评审基准及新建的judgerEva-Standard测试床上应用。 作者称，总准确率会掩盖评审器在特定部署条件下的失效风险；位置鲁棒性的排名最稳定，平均Spearman相关系数为0.87，但在JudgeBench-Pro对抗压力下，其共同条件中的平均准确率降幅最大，且不同评审器的主要退化路径不同。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。