实测：重复运行对LLM代码评测降噪的上限

Yongxi Zhou等人在arXiv发布论文，用16个模型、99道LeetCode风格题目、两种Prompt、每题5次运行（共15,840次评判）测量重复运行能多大程度降低LLM代码评测的方差。结论是收益有明确上限：方差上限1+μw/σb²（重复运行最多可缩小的方差倍数）在模型间的中位数为1.34（范围1.05–1.71）。聚类置信区间下，15组相邻榜单排名中有12组无法统计区分；重复运行最多使置信区间收窄23%，中位模型为14%。 作者强调所有结果均基于单一基准、单一解码温度的测量。计入新增已验证题目的成本后，最优重复次数附近的方差曲线较平坦，作者称两到三次运行通常足以完成所需的不确定成分估计。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。