研究发现OPD仅训练学生失败题目不提升反降性能

Shuo Yang、Zheyu Zhang、Mahito Sugiyama和Gjergji Kasneci等作者发布论文，评估在策略蒸馏（OPD）仅用学生当前失败的竞赛数学题目训练时的效果，发现其不提升准确率：在Qwen-3和Phi-4上的5种代表性OPD机制中，8种配置全部出现性能下降，双侧符号检验得到p=0.0078。 该研究基于论文摘要，采用统一的竞赛数学评测协议。尽管训练KL散度持续下降，大多数机制仍使性能退化。作为对照，同一流程在不集中训练失败题目的情况下可提升准确率4.6个百分点，表明负结果与“只训失败题”这一选择方式相关。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。