跳到正文
arXiv · cs.AI· Taehyeon Kim, Hyunsoo Lee, Youngsoo Jang, Moontae Lee·· 6 小时前

RPO通过Root-token策略优化训练大模型自适应推理

Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking

arXiv:2610.17767v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Taehyeon Kim, Hyunsoo Lee, Youngsoo Jang, Moontae Lee

研究任务与主要进展

研究者提出RPO(Root-token Policy Optimization),仅训练初始root token来决定模型是否进入推理,从而让大模型根据问题难度自适应分配计算。作者称,RPO通过组相对奖励和组级优势显著降低训练开销与显存使用,并在多个模型系列和规模上以约2%的训练计算量学习自适应推理;当前材料仅提供论文摘要,未说明具体基准和实验细节。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org