arXiv · cs.AI· Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 4 小时前精选
Generalized Proximal Policy Optimization：从散度视角统一大语言模型强化学习算法
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
arXiv:2610.13015v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou
研究任务与主要进展
作者提出广义近端策略优化（GPPO），从广义f散度视角统一大语言模型强化学习算法，并将其表述为“散度×估计器”的二维设计空间。作者建立了带单调性能改进保证的信任域理论，提出新的估计器结构，并将PPO、DAPO、DPPO和RIPO视为该框架下的特例。基于论文摘要，实验覆盖八个竞赛级数学和代码基准，其中最佳GPPO配置相对标准GRPO在数学和代码任务上最高分别提升50%和14%；具体实验细节未提供。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
本站判断
基于论文摘要，作者以广义f散度统一分析LLM强化学习算法，建立带单调性能改进保证的信任域理论，并提出比传统单样本蒙特卡洛估计更忠实的估计器结构，将PPO、DAPO、DPPO和RIPO纳入“散度×估计器”设计空间。八个竞赛级数学与代码基准上的实验显示两个维度都重要，但摘要未说明具体模型规模、采样预算和比较设置，影响判断仍取决于这些条件。本站设想：在相同模型、采样预算与任务设置下，横向比较不同散度和估计器组合的稳定性、探索效率及计算成本。
来源：arXiv · cs.AI · arxiv.org