提出Δ-MOPD蒸馏方法

研究提出Δ-MOPD，在多教师在策略蒸馏中，将教师相对基座的 logit shift 重新锚定到学生冻结初始化处，并固定教师选择与终点策略监督进行比较。基于论文摘要，移除教师继承的基座牵引可降低教师项范数比和目标—学生KL；三教师组合时较终点组合提高4.11个 Math 分和1.95个五基准综合分，交错路由下两种目标表现相当。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。