跳到正文
arXiv · cs.AI· Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang, Ruiqi Liu, Kun-Yang Yu, Ming Yang, Zhi Zhou, Yu-Feng Li, Yipeng Sun, Gu Simiu·· 5 小时前

Road MOPD:用跨教师守护缓解多教师在线策略蒸馏中的梯度冲突

Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

arXiv:2610.13521v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang, Ruiqi Liu, Kun-Yang Yu, Ming Yang, Zhi Zhou, Yu-Feng Li, Yipeng Sun, Gu Simiu

研究任务与主要进展

研究者提出 Road MOPD,通过非路由教师作为跨领域批评器,结合词元级信用分配和多教师梯度投影,协调多教师在线策略蒸馏。论文摘要称,该方法在高冲突场景下使弱势领域提升超过5个百分点,并改善低冲突和三领域设置下的整体性能;具体实验条件与基线未在材料中说明。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org