论文提出LLM奖励函数诊断式迭代修正方法

Youting Wang 等发布 arXiv 论文，针对 LLM 生成奖励函数在稀疏结构化强化学习中的失败（奖励泛滥、语义或 API 误解等），提出基于训练诊断和失败模式分类的奖励函数迭代修正方法。 基于论文摘要：以 PPO 训练的智能体为对象，MiniGrid 为核心评估环境，MuJoCo 到达/运动任务为边界压力测试。修正后 DoorKey-8x8 成功率从无塑形的 2.3% 提升至 97.6%，KeyCorridor 从一次性生成的 31.2% 提升至 86.7%，但 KeyCorridor 随机种子间方差较高；且六组对比均未通过家族-wise 校正。 作者将方法限定于 PPO 训练下、具有可靠结构化接口的稀疏结构化任务。

AI 根据报道生成 · 1 天前更新