PreSO：特权表征隔离改进在策略自蒸馏

Yuhang Yang 等发布 arXiv 论文，提出 PreSO 方法，改进带可验证奖励的在策略自蒸馏（OPSD）。OPSD 用基于特权信息的自教师把 RLVR 的稀疏结果信号转为密集 token 级监督；PreSO 通过紧凑提示限制特权表征变化，并从相关问题表征偏移中估计低秩子空间来构造学生蒸馏目标。 基于论文摘要，该方法在五个竞赛级数学基准上评估 Qwen3-1.7B、4B 和 8B，相比基础模型平均准确率分别提升 6.8、9.0 和 10.0 个百分点，并在各模型规模上取得最高的最终检查点平均分。作者说明所选子空间只是复现结构的操作性代理，不能保证分离可迁移与实例特定信息；材料未说明跨出数学任务后的效果。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。