arXiv · cs.AI· Kakei Yamamoto, So Kuroki·· 11 小时前
PRISM：用反事实探针校准黑盒大语言模型评判器
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
arXiv:2610.18389v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Kakei Yamamoto, So Kuroki
研究任务与主要进展
PRISM通过在保持评测内容不变时强调或弱化属性，以反事实探针测量大语言模型评判器的分数变化，并用基于人类标签的岭回归学习校正项。该协议仅使用总体分数，无需逐项评分；在SummEval摘要评估和HANNA故事评估的Jev、Sol比较中，PRISM及其学习型基线版本提升了与人类排序的一致性，并与基于评分标准的方法保持竞争力。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org