LLM自我改进存在赢家诅咒

Litao Hu与Yutong Tang研究LLM反复利用小型评估集筛选改进方案时的“赢家诅咒”，结论是选择集上的高分会系统性高估实际收益；基于论文摘要，在Qwen改写自身指令、每轮候选用600个留出样本评估的实验中，第一代后多数提案有害，论文称最佳候选的夸大幅度可由模型给出。 预注册研究中，贪心循环最终候选的选择集得分比留出准确率高13—20个百分点（每轮用16个选择样本）和1—5个百分点（256个）。用64个从未参与选择的样本同时评估初始与当前指令，可消除循环平均收益偏差，但单次估计仍约有6点误差；TREC的留出收益随选择集增大，GSM8K则未体现这一趋势，测试的接受规则也未优于贪心接受。

AI 根据报道生成 · 34 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。