arXiv · cs.AI· Bangji Yang, Jiajun Fan, Zhaoyu Zhu, Hongbo Ma, Ge Liu·· 7 小时前
Training-Free On-Policy Distillation:无需训练融合多个专家模型
Training-Free On-Policy Distillation
arXiv:2610.22236v1阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Bangji Yang, Jiajun Fan, Zhaoyu Zhu, Hongbo Ma, Ge Liu
研究任务与主要进展
研究提出 Training-Free On-Policy Distillation,通过仅使用前向计算将多个专家模型的能力聚合到一个模型中,在共享基础模型时可用输入二阶矩求解逐层最小二乘融合。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org