论文提出Muon长程RL训练配方

Kai Ruan等作者发布arXiv论文2610.20256v1《Long-Horizon RL Needs Muon》，面向仓库级代码问题修复任务，提出结合Muon优化器的单rollout异步强化学习配方，包含token平均损失、截断重要性采样，以及长度与工具错误辅助惩罚。 单rollout采样使策略更新无需等待同一问题的多条轨迹，可在rollout收集期间异步学习。作者在两个模型家族上比较优化器选择与配方组件，据论文摘要，评估的训练运行显示完整配方的训练成功率高于基线。目前证据限于论文摘要所述内容。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。