跳到正文
arXiv · cs.AI· Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, Liu Yang, Yifan Dai, Yang Shi, Bozhou Li, Chengzhuo Tong, Daili Hua, Yuanxing Zhang, Wentao Zhang·· 8 小时前

Flux-OPD利用演化上下文进行在策略蒸馏

Flux-OPD: On-Policy Distillation with Evolving Contexts

arXiv:2607.28022v2阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, Liu Yang, Yifan Dai, Yang Shi, Bozhou Li, Chengzhuo Tong, Daili Hua, Yuanxing Zhang, Wentao Zhang

研究任务与主要进展

Flux-OPD提出一种在策略蒸馏方法,将随学生能力变化的上下文作为训练监督信号,并通过冲突项调节上下文修正强度。论文基于反向KL分解将其目标解释为带有教师分歧冲突项的几何平均目标;摘要称实验显示其表现优于所比较的其他OPD范式,但未提供具体基线和实验细节。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org