提出轨迹级蒸馏方法TRD修正学生轨迹缓解前缀失败

Li Jiang、Haoran Xu、Yichuan Ding、Amy Zhang 等作者在 arXiv 论文中提出 Trajectory-Refined Distillation（TRD），一种轨迹级校正方法：在教师引导下、保持在线策略支撑范围内，修正学生在线策略蒸馏（OPSD） rollout 中的问题前缀，以缓解前缀失败造成的教师信号混合和梯度碎片化。代码已开源（github.com/louieworth/trd）。 论文称，在 OPSD 设定下，TRD 解决了 Qwen3-8B 基座模型未能解出的 23 道 AMOBench 题目中的 9 道，接近最强 dense-KL 基线的两倍；同时提升平均数学准确率，并在代码任务上保持竞争力。以上为论文作者声称的结果，本站未独立核验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。