GraphOPD改进LLM智能体策略蒸馏

Bohan Lin 等提出 GraphOPD，将图结构增强用于大语言模型智能体的在策略蒸馏；基于论文摘要，该方法在强化学习奖励稀疏、仅对完整轨迹给出一次奖励时，利用教师策略提供逐步指导。 GraphOPD 把环境状态变化中的步骤依赖组织成图，结合随机游走得到的结构信用与教师—学生分歧信号，指导学生智能体学习。作者称，在 ALFWorld、WebShop 和 SearchQA 的三个模型规模、11 个基线中，GraphOPD 整体具有竞争力，较最强基线最高提升 5.8 个百分点；执行回放审计还显示，该结构信用分数与真实因果影响的关联高于随机水平，两种融合信号各自不可替代，并可迁移到域外工具推理任务。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。