论文分析RLVR中一阶动量何时有益并提出更大β原则

Kaifei 等作者发布 arXiv 论文（2610.20413），分析可验证奖励强化学习（RLVR）中一阶动量何时能改善优化，并提出在安全范围内选择更大 EMA 系数 β 的原则。作者称，精确策略梯度下增大 β 可严格加速优化；当采样梯度存在波动时，学习率与 β 组合满足安全条件可保留非消失的预期收益。 作者通过带偏差校正 EMA 动量的 bandit 形式化建模 RLVR，并用 bandit 模拟验证了理论预测。在 LLM 后训练实验中，作者报告在 Qwen2.5-32B 上用 AdamW 仅增大 β₁ 即比常规选择提升近 2 个百分点的平均验证准确率，Qwen3-4B-Base 上使用 SGD+EMA 与 AdamW 的 RLVR 实验也支持该原则。具体实验细节在摘要材料中未说明。

AI 根据报道生成 · 1 天前更新