RollVerify修复长尾强化学习轨迹

Yongqiang Yao等提出轻量级部分轨迹强化学习框架RollVerify；论文摘要称，该方法在数学推理和工具辅助数学推理实验中，以接近在线训练的成绩降低训练成本。 异步或部分生成可减少长尾轨迹造成的GPU空转、提高吞吐，但会引入陈旧的离策略样本。RollVerify依据OPS约束，在样本进入训练前进行序列级和token级验证，截断无效后缀以主动修复轨迹，而非在训练中被动调整样本权重。现有证据仅见arXiv摘要，摘要未给出具体成本、准确率或实验规模。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。