arXiv · cs.AI· Yuhang Yang, Mingxuan Xia, Chao Ye, Shuai Zhu, Shouqing Yang, Haobo Wang, Shenzhi Yang, Zhengqing Zang, Chenglong Wang·· 10 小时前
PreSO提出面向On-Policy自蒸馏的特权表示隔离方法
PreSO: Privileged Representation Isolation for On-Policy Self-Distillation
arXiv:2610.14001v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yuhang Yang, Mingxuan Xia, Chao Ye, Shuai Zhu, Shouqing Yang, Haobo Wang, Shenzhi Yang, Zhengqing Zang, Chenglong Wang
研究任务与主要进展
PreSO通过特权表示隔离改进带可验证奖励的On-Policy自蒸馏：它利用紧凑提示限制特权表示变化，并从相关问题的表示偏移中估计低秩子空间来构造学生蒸馏目标。基于论文摘要，该方法在五个竞赛级数学基准上评估了Qwen3-1.7B、4B和8B，相比基础模型的平均准确率分别提升6.8、9.0和10.0个百分点，并在各模型规模上取得最高的最终检查点平均分；材料未说明跨出数学任务后的效果。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org