PRISM用反事实探针校准LLM裁判

Kakei Yamamoto 和 So Kuroki 在 arXiv 发布论文，提出 PRISM（Probe-based Residual Inference of Scoring Misalignment）方法，用于校准黑盒大语言模型评判器：保持被评内容不变，通过强调或弱化属性构建反事实探针，测量评判器分数变化，再用基于人类标签的岭回归学习校正项。该协议只用总体分数，无需逐项评分。 论文称，在 SummEval 摘要评估和 HANNA 故事评估的 Jev、Sol 比较（基于论文摘要）中，PRISM 及其学习型基线版本相比未校准分数显著提升了与人类排序的一致性，并与基于评分标准的方法保持竞争力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。