JOLT联合训练自蒸馏教师与学生

Ardywibovo、Dalal和Jiao提出JOLT，将同一策略同时训练为带特权信息的教师和无特权学生，以缓解长程任务中结果奖励稀疏、传统自蒸馏监督与学生能力不匹配的问题。作者基于论文摘要称，其教师目标结合结果奖励与面向学生的token级KL正则化，并推导出教师局部蒸馏更新成为学生奖励梯度正倍数的必要充分条件。 摘要报告，JOLT在数学推理、编码、工具使用和终端使用任务上提高了训练效率与表现；加入学生奖励后还获得进一步收益，但未提供具体规模、基线或资源数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。