提出Fisher Utility Weighting用于在线蒸馏token选择

Narayanan Sadagopan、Yilan Chen 和 Vijay Lingam 在 arXiv 论文（2610.18883）中从同策略蒸馏（OPD）目标出发，经局部信任域优化推导出 token 效用评分，并提出其连续加权实例化 Fisher Utility Weighting（FUW）。该效用由 logit 梯度和类别 Fisher 矩阵计算，在反向 KL 和正向 KL 目标下对应不同的散度形式。 论文报告，在七个数学推理基准和三组 Qwen3 学生-教师模型对上，FUW 相比匹配的均匀加权 OPD 有提升：反向 KL 下提高 1.35–4.0 个 macro 点，正向 KL 下提高 1.08–2.71 个 macro 点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。