arXiv · cs.AI· Youting Wang, Yuan Tang, Bowen Liu, Xuan Liu, Dingyan Shang·· 2 天前
LLM奖励设计失败的诊断驱动稀疏结构化强化学习迭代改进方法
When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL
arXiv:2605.28918v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Youting Wang, Yuan Tang, Bowen Liu, Xuan Liu, Dingyan Shang
期刊信息（来源提供）：Transactions on Machine Learning Research, 2026
研究任务与主要进展
研究作者提出诊断驱动的奖励函数迭代改进方法，针对稀疏结构化强化学习任务中的奖励泛滥、语义或API误解等问题，利用训练诊断和失败模式分类修订奖励函数。基于论文摘要，在PPO和MiniGrid核心评估中，DoorKey-8x8成功率从无塑形时的2.3%提升至97.6%，KeyCorridor从一次性生成的31.2%提升至86.7%；但KeyCorridor的随机种子间方差较高。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org