论文提出CCE-OPD改进在线策略蒸馏,减少学生无效推理
热点事件观察中
论文提出CCE-OPD改进在线策略蒸馏,减少学生无效推理
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
论文作者提出条件对比外推在线策略蒸馏方法CCE-OPD:让冻结教师比较完整问题与遮蔽指定条件的问题,并用有界对数概率对比重新加权教师分布,以减少学生轨迹中的无效后续。 实验结果:在200个诊断推理状态上,无效后续偏好率从27.0%降至16.0%;在六项数学基准上,将Qwen3-8B分别蒸馏至0.6B和1.7B学生时,avg@8相对OPD平均提升1.60和1.95个百分点,并在四项迁移基准上取得最强结果。
AI 根据报道生成 · 1 天前更新
最新进展10月16日 12:00
CCE-OPD通过条件对比改进语言模型在线策略蒸馏报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- arXiv · cs.AICCE-OPD通过条件对比改进语言模型在线策略蒸馏
作者提出条件对比外推在线策略蒸馏方法CCE-OPD,通过让冻结教师比较完整问题与遮蔽指定条件的问题,并用有界对数概率对比重新加权教师分布,减少学生轨迹中的无效后续。在200个诊断推理状态上,无效后续偏好率从27.0%降至16.0%;在六项数学基准上,将Qwen3-8B分别蒸馏至0.6B和1.7B学生时,avg@8相对OPD平均提升1.60和1.95个百分点,并在四项迁移基准上取得最强结果。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 910月16日 15:00
- 近 24 小时变化
- -51%
02.557.510
18:0010月17日06:0012:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。