论文提出无标签评审规则改写方法提升LLM评审一致性

Sangdo Han 和 Moonsoo Kim 发布 arXiv 论文，提出一种不使用人工标签改写评审规则的方法：按评审间分歧对子标准排序并编辑争议条款。实验用三家提供商的五个评审在六个规则条件下测试，SummEval 上评审间 Krippendorff's α 比原规则提高 0.069，比随机编辑对照提高 0.074。 但一致性提升未带来与人类评分的接近：与专家评分的 Kendall's τ 变化为 -0.007，区间包含零；在 HealthBench 和 USR Topical-Chat 上，评审间一致性和与人类的一致性均未达到预设效果标准。作者称人工标签从未用于选择或编辑条款，仅用于评估结果；将可核查子标准交给确定性检查器的附加阶段在评估中也没有效果。 论文结论是按分歧选择条款能让评审模型之间更一致，但在其设置中这种共识并未使评审更接近人类标注者。以上基于论文摘要。

AI 根据报道生成 · 3 小时前更新