arXiv · cs.AI· Erfan Baghaei Potraghloo, Seyedarmin Azizi, Arya Fayyazi, Saeid Shokoufa, Mehdi Kamal, Souvik Kundu, Massoud Pedram·· 3 天前精选
OPPD：无需搜索的序列级幂分布在策略蒸馏
Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution
arXiv:2610.06804v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Erfan Baghaei Potraghloo, Seyedarmin Azizi, Arya Fayyazi, Saeid Shokoufa, Mehdi Kamal, Souvik Kundu, Massoud Pedram
首次提交：2026-10-06 01:53
研究任务与主要进展
研究作者提出 On-policy power distillation（OPPD），让训练中的模型生成候选，并用冻结教师的幂分布权重进行最大似然更新，使单个生成学习到倾向高概率完整答案的分布。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
本站判断
OPPD 将基于冻结教师幂分布的序列级蒸馏整合进训练，使单个生成结果学习倾向高概率答案，从而减少推理时对大量候选进行评分的依赖。基于论文摘要，数学任务和 HumanEval 报告了相对未训练模型及已发表基线的准确率提升，但具体模型、采样预算、训练细节与完整实验条件未说明；代码仓库已提供。
来源：arXiv · cs.AI · arxiv.org