DTDD：发散触发的动态在线策略蒸馏框架论文发布

Qijia He 等作者在 arXiv 发布论文，提出 DTDD（Divergence-Triggered Dynamic Distillation），一种自适应在线策略蒸馏框架：训练中按段级学生—教师分歧触发教师接管，学生生成的前缀继续接受在线策略蒸馏监督，教师生成的后缀用行为克隆训练。 论文称，DTDD 将预热后的峰值梯度范数降低 8.6 倍，并从基础初始化出发，以比 OPD 少 2.6 倍的优化器更新步数达到 21.3% 的留出数学准确率；两种方法最终都接近 22%。作者称在 23 个实验组中，当教师明显优于经 OPD 训练的学生、教师能从学生访问的状态恢复、学生能学习这些恢复、且教师介入既不过多也不过少时，接管倾向于有效。以上数字来自论文作者，基于论文摘要，尚无独立复现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。