arXiv · cs.AI· Dylan P. Wilson, Chengsong Huang, Jiaxin Huang·· 7 小时前
多数投票奖励为何能追踪可验证强化学习更新
Wrong Votes, Right Gradients: Why Majority-Vote Rewards Track Verifiable RL
arXiv:2610.20898v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Dylan P. Wilson, Chengsong Huang, Jiaxin Huang
研究任务与主要进展
作者在五个模型上分析多数投票奖励为何能接近可验证奖励训练，并发现其关键在于批量更新而非单个提示的多数答案：多数投票错误的梯度方向与随机奖励相当不相关，噪声校正后与可验证奖励更新的余弦为1。随机翻转最多30%的金标签仍能保持更新方向，而按共享规则翻转则会破坏方向；但该等价关系是局部的，可验证奖励训练最终仍在留出的多数投票准确率上领先。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org