双钟框架解释RLVR大批量训练进展慢且定时失败

研究者提出RLVR训练的“双钟”框架，区分“取得进展所需样本”与“崩溃前消耗样本”两个时钟，用于解释大批量强化学习单位样本进展变慢、却在大致固定样本数后失败的现象。该框架基于论文摘要。框架分析平方根学习率缩放规则：在局部二次模型下，该规则保留每样本一阶漂移但不保留进展，预测超过临界批量后样本效率下降。 Qwen2.5-Math-1.5B的受控GRPO实验覆盖16倍批量范围，支持两项预测；类似现象还在另一数据集、通用检查点和7B模型上出现。作者据此提出先使用低于临界批量的设置、再在失败前扩大批量的RLVR日程，代码已发布。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。