arXiv · cs.AI· Kai Ruan, Jinghao Lin, Tao Chen, Ziqi Zhou, Qianshan Wei, Zihe Huang·· 5 小时前
长时程强化学习为何需要 Muon 优化器
Long-Horizon RL Needs Muon
arXiv:2610.20256v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Kai Ruan, Jinghao Lin, Tao Chen, Ziqi Zhou, Qianshan Wei, Zihe Huang
研究任务与主要进展
一篇 arXiv 论文摘要提出面向长时程智能体的单 rollout 异步强化学习配方，组合 Muon 优化器、token 平均损失、截断重要性采样，以及长度与工具错误辅助惩罚。单 rollout 采样使策略更新无需等待同一问题的多条轨迹，可在 rollout 收集期间异步学习。作者在两个模型家族的仓库级问题解决任务中比较优化器选择与配方组件，评估的训练运行显示完整配方的训练成功率高于基线。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org