arXiv · cs.AI· Wenxuan Luo, Chenxi Li, Haoyue Liu, Yongxin Guo, Xiaoying Tang·· 1 天前
CCE-OPD通过条件对比改进语言模型在线策略蒸馏
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
arXiv:2610.21195v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Wenxuan Luo, Chenxi Li, Haoyue Liu, Yongxin Guo, Xiaoying Tang
研究任务与主要进展
作者提出条件对比外推在线策略蒸馏方法CCE-OPD，通过让冻结教师比较完整问题与遮蔽指定条件的问题，并用有界对数概率对比重新加权教师分布，减少学生轨迹中的无效后续。在200个诊断推理状态上，无效后续偏好率从27.0%降至16.0%；在六项数学基准上，将Qwen3-8B分别蒸馏至0.6B和1.7B学生时，avg@8相对OPD平均提升1.60和1.95个百分点，并在四项迁移基准上取得最强结果。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org