论文提出all-pairs比较法测量LLM评测的预测与数据噪声

Sida I. Wang 在 arXiv 论文（Measuring all the noises of LLM Evals，arXiv:2512.21326v3）中定义并测量 LLM 评测中的三类噪声：同一问题上生成不同答案导致的预测噪声、抽样题目导致的数据噪声，以及按全方差定律计算的两者之和的总噪声，并提出对所有模型对做配对比较的 all-pairs comparison 方法。 论文摘要称，配对预测噪声通常大于配对数据噪声，这意味着通过对多次生成取平均来降低预测噪声可以显著提高统计功效。以上内容基于论文摘要，未核验全文。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。