arXiv · cs.AI· Tiantian Peng, Guannan Lv, Hongyang Li, Qiuhe Hong, Hang Cheng, Hongjian Dou, Xiangyu Wu, Yuyang Liu·· 6 小时前
DrOPD通过高JS散度路由改进语言模型在线策略蒸馏
Divergence-Routed On-Policy Distillation for Language Models
arXiv:2610.19572v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Tiantian Peng, Guannan Lv, Hongyang Li, Qiuhe Hong, Hang Cheng, Hongjian Dou, Xiangyu Wu, Yuyang Liu
研究任务与主要进展
基于论文摘要，作者提出Divergence-Routed On-Policy Distillation（DrOPD），在保留各位置RKL监督的同时，对高JS散度位置选择性加入前向KL监督。六个数学基准实验显示，DrOPD优于标准OPD和基于熵的路由，并将严重欠覆盖案例相对OPD减少37.9%；摘要未说明模型规模、采样成本等实验细节。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org