Best-of-N采样缩放规律的极值尾部竞争理论研究

Taro Yano、Yoichi Ishibashi 和 Masafumi Oyamada 在 arXiv 发布论文（基于论文摘要），将 Best-of-N 采样建模为正确与错误响应在极端奖励尾部之间的竞争，刻画了正确尾部占优、错误尾部占优和临界三种渐近区域，并解释了单调收益与 reward hacking 导致的性能退化。 有限样本分析显示，在高斯奖励下，即使错误响应均值更低，过大的方差也可能使其主导选择。研究提出 tail-tension 判据，用于估计增加采样何时可能有害。合成数据与真实奖励模型分数上的实验结果与理论预测的区域、缩放律和判据行为一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。