跳到正文
arXiv · cs.AI· Siyuan Gan, Bo Yang, Linjian Meng, Boyan Wang, Xiaolong Qi, Jing Huo, Yang Gao·· 1 天前

Nash-MOPD:优化多教师在线策略蒸馏中的任务权衡

Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation

arXiv:2610.26124v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Siyuan Gan, Bo Yang, Linjian Meng, Boyan Wang, Xiaolong Qi, Jing Huo, Yang Gao

研究任务与主要进展

Nash-MOPD通过局部极小极大博弈自适应分配多教师在线策略蒸馏中的领域采样比例,在不增加教师查询或rollout的情况下支持改进较慢的领域。摘要称,在第100步,其DeepSeek-R1-Distill-Qwen-1.5B数学与代码检查点成绩超过两个基线的最终成绩,在Qwen3-8B-Base上达到Fixed的水平;九项报告指标中领先八项,六项数学与代码准确率指标均为最佳或并列最佳。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org