MagicBeanStalk递归合成数学题缓解RLVR零优势问题

Ximing Lu 等人发布 arXiv 预印本《MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis》，提出通过自顶向下分解与自底向上递归合成的数据合成算法，把种子数学题扩展为按目标策略和训练预算校准难度的题目族，同时保留种子的推理蓝图，以避免 RLVR 训练中题目对所有 rollout 全对或全错、优势为零的陷阱。 论文称，对于固定的目标策略和 rollout 预算，生成的题目中约 88% 在每次 rollout 中要么全部解出、要么全部失败，即接近零优势状态的材料未说明其比例；据其报告，在 16K token 预算下、跨 8 个数学基准，对 MagicBeanStalk 题目做持续 RLVR 训练使 gpt-oss-120b 从 61.2 提升到 69.8（+8.6），DeepSeek v4Flash 从 72.4 提升到 77.9（+5.4）。上述数字来自论文自述结果，材料未说明独立复现情况。

AI 根据报道生成 · 3 小时前更新