DrOPD：按JS散度路由改进在线策略蒸馏
热点事件持续更新
DrOPD：按JS散度路由改进在线策略蒸馏
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Tiantian Peng 等提出Divergence-Routed On-Policy Distillation（DrOPD），对语言模型在策略蒸馏（OPD）的监督信号按位置路由：保留各位置的反向KL（RKL）监督，并在JS散度高的位置选择性加入前向KL（FKL）监督。 据论文摘要，六个数学基准上DrOPD优于标准OPD和基于熵的路由，相对OPD将严重欠覆盖案例减少37.9%。摘要未说明模型规模、采样成本等实验细节。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
DrOPD通过高JS散度路由改进语言模型在线策略蒸馏报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv · cs.AIDrOPD通过高JS散度路由改进语言模型在线策略蒸馏
基于论文摘要，作者提出Divergence-Routed On-Policy Distillation（DrOPD），在保留各位置RKL监督的同时，对高JS散度位置选择性加入前向KL监督。六个数学基准实验显示，DrOPD优于标准OPD和基于熵的路由，并将严重欠覆盖案例相对OPD减少37.9%；摘要未说明模型规模、采样成本等实验细节。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。