RSHD方法将GRPO全失败组转化为监督信号
热点事件持续更新
RSHD方法将GRPO全失败组转化为监督信号
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Sheldon Yu 等论文作者发布论文，提出 Replay-Selected Hindsight Distillation（RSHD），将 GRPO 训练中全失败组的失败尝试转化为额外的监督信号。方法让策略在不看参考答案的情况下为失败尝试生成纠正提示，通过重放筛选：只有当提示使重放成功率高于原组、且未直接给出答案时才被采纳，随后蒸馏回普通提示策略。作者称该方法只训练策略，判定仅依赖结果验证器，部署时无需提示或额外推理开销。 背景是 GRPO 的已知局限：当一个问题的所有 rollout 都失败时，组内既无成功样本也无非零组相对优势，模型从最需要学习的问题上学不到任何东西。作者报告在多个模型家族和规模、两个训练域上，RSHD 在域内基准上一致优于 GRPO，增益并延续到域外评估集；以上为论文作者声称的结果。
AI 根据报道生成 · 3 小时前更新
最新进展10月16日 12:00
RSHD通过Grounding Hindsight从失败尝试中恢复GRPO训练监督报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv · cs.AIRSHD通过Grounding Hindsight从失败尝试中恢复GRPO训练监督
作者提出Replay-Selected Hindsight Distillation（RSHD），让策略在看不到参考答案的情况下为失败尝试生成纠正提示，再通过重放判断该提示是否带来更频繁的成功；通过的提示会被蒸馏回普通提示策略。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月16日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。