arXiv · cs.AI· Laur\`ene Vaugrante, Thilo Hagendorff·· 2 天前
LLM-as-a-Judge设计选择的系统比较：提示词、评分量表与模型的影响
How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models
arXiv:2610.05094v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Laur\`ene Vaugrante, Thilo Hagendorff
研究任务与主要进展
作者比较了10个推理模型在句子情感与毒性评分、问答对准确性分类两类任务中的表现，涵盖每类超过500条数据和600个问答对。基于论文摘要，研究发现模型在准确性分类任务上的平均准确率为96.5%，但评分量表可使偏差最多变化0.93分，提示词可使分类宽松度下降28.9个百分点，切换模型最多造成56.1个百分点的变化，模型身份是方差的主要来源。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org