arXiv · cs.AI· Jake Ward, Shawn Hu, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Matt Turner, Alex Cloud·· 1 天前
GRAFT通过梯度路由减少并移除强化学习中的非预期行为
Gradient Routing Localizes and Removes Unintended Behaviors in RL
arXiv:2610.17062v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jake Ward, Shawn Hu, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Matt Turner, Alex Cloud
研究任务与主要进展
研究者提出GRAFT（Gradient Routing Adapter Fine Tuning），在奖励函数设定错误且监控器存在系统性错误时，将被标记样本的梯度更新限制在一组可牺牲的新参数中，而不是直接惩罚或过滤这些样本。论文摘要称，该方法可减少或完全停止非预期行为，同时保持目标任务性能提升，并在135M至8B参数模型及Qwen3-32B蒸馏实验中观察到类似效果；具体实验细节未说明。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org