跳到正文
热点事件持续更新

论文提出CCR:以8k窗口替代32k降低RLVR训练成本

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Bangji Yang 等在 arXiv 论文《Batched Contextual Reinforcement II: Does RLVR Need Long Rollout Windows?》中提出并发约束强化学习(CCR),在一次有界的训练补全中放置三个可独立验证的问题,使截断前已完成的正确答案仍能保留信用,从而缩短 RLVR 训练的 rollout 窗口。 论文实验显示:相较使用 32k 窗口的单问题 GRPO,CCR 采用 8,000-token 窗口后,每步训练 token 数在 4B 模型上由 975,464 降至 174,957,在 8B 模型上由 793,832 降至 165,788,分别节省 82.1% 和 79.1%;单问题评测为推理质量得到保留提供了支持性证据。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv · cs.AI
    Batched Contextual Reinforcement II:CCR以8,000-token窗口降低RLVR训练成本

    研究提出并发约束强化学习(CCR),在一次有界训练补全中放置三个可独立验证的问题,使截断前完成的正确答案保留信用,并以4B和8B数学推理模型进行实验。相较使用32k窗口的单问题GRPO,CCR采用8,000-token窗口后,每步token数在4B模型上由975,464降至174,957,在8B模型上由793,832降至165,788,分别节省82.1%和79.1%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。