arXiv · cs.AI· Hejian Sang, Zhengze Zhou, Shayan Mohajer Hamidi, Xiaomin Li, Rohit Jain, Alborz Geramifard·· 19 小时前
Δ-MOPD通过教师相对基座偏移改进多教师在策略蒸馏
Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts
arXiv:2610.10460v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Hejian Sang, Zhengze Zhou, Shayan Mohajer Hamidi, Xiaomin Li, Rohit Jain, Alborz Geramifard
首次提交：2026-10-08 01:27
研究任务与主要进展
研究提出Δ-MOPD，在多教师在策略蒸馏中，将教师相对基座的 logit shift 重新锚定到学生冻结初始化处，并固定教师选择与终点策略监督进行比较。基于论文摘要，移除教师继承的基座牵引可降低教师项范数比和目标—学生KL；三教师组合时较终点组合提高4.11个 Math 分和1.95个五基准综合分，交错路由下两种目标表现相当。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org