arXiv · cs.AI· Qi Cao, Kangning Liu, Xuan Kan, Shunwen Tan, Yang Pei, Dake Chen, Yatai Ji, Zixuan Ye, Yuanpeng Tu, Daniel Li, Junbiao Tang, Pengtao Xie, Zihao He·· 2 天前
JudgeProfile：分解并引导LLM评审的主观性
JudgeProfile: Understanding and Steering Subjectivity in LLM Judges
arXiv:2609.36705v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Qi Cao, Kangning Liu, Xuan Kan, Shunwen Tan, Yang Pei, Dake Chen, Yatai Ji, Zixuan Ye, Yuanpeng Tu, Daniel Li, Junbiao Tang, Pengtao Xie, Zihao He
研究任务与主要进展
Qi Cao等人提出JudgeProfile框架，将LLM评审对回答的感知与属性优先级分离，并用于引导其评价决策。基于论文摘要，研究构建了来自17个公开数据源的50,013个回答对，由21个LLM评审按87项属性进行评估；属性重加权使留出一致率从66.48%提升至71.97%，优于微调和评分标准提示。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org