arXiv · cs.AI· Yibo Wang, Yuanxin Liu, Zhaoran Wang·· 2 天前
可验证奖励强化学习的方差最优状态重采样方法VSR
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
arXiv:2610.15888v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yibo Wang, Yuanxin Liu, Zhaoran Wang
研究任务与主要进展
基于论文摘要，作者提出VSR（Variance-driven State Resampling），通过状态重采样降低策略梯度估计器方差，并将其作为GRPO的即插即用改造。该方法结合前缀回放缓冲区与零成本方差代理，作者声称在数学推理基准以及Sokoban、BabyAI长时程Agent任务的大多数基准上优于GRPO和GiGPO，并使用更少的生成token完成每次更新；具体推导与实验细节材料未说明。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org