论文提出可验证过程奖励VPR改进智能体训练

Huining Yuan 等在 arXiv 论文中提出可验证过程奖励（VPR）训练框架，将任务求解验证器（task oracle）复用为动作级过程验证器，为中间动作提供密集奖励，以改善长时程智能体任务的信用分配。 作者称，基于论文摘要，VPR 训练的 Qwen3-4B 在三种游戏训练环境中均优于结果奖励 GRPO 和 VinePPO；联合数学数据与游戏环境训练时取得最高平均推理性能和智能体结果。将 VPR 式动作级监督用于 τ²-bench（以专家 LLM 作参考策略）时，在留出任务上也优于结果奖励 GRPO。 作者指出该方法依赖任务验证器的可用性与可靠性，向结构化程度更低、开放式环境扩展仍是挑战。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。