论文提出用有效样本量做RL后训练更新

Rasool Fakoor、Murdock Aubry、Nicholas Stranges、Alexander J. Smola 等作者发布论文（arXiv:2605.12380v2），将批次自适应的 P3O 目标用于大模型强化学习后训练：以逐 token 策略比值（相对 rollout 引擎的对数概率）的归一化有效样本量替代固定裁剪范围，并据此约束 score-function 权重和离策略正则化强度。作者称 P3O 不新增目标超参数并移除裁剪范围。这是基于论文摘要的介绍，属于作者声称与论文实验结果，尚无独立验证。 在数学推理实验中，论文称 P3O 与调参后的基线相比表现相当或更好，并在 Qwen3-8B-Base 的 FP8 rollout 设置下避免了 GRPO 出现的后期崩溃。

AI 根据报道生成 · 13 小时前更新