跳到正文
arXiv · cs.AI· Bangji Yang, Jiajun Fan, Zhaoyu Zhu, Hongbo Ma, Ge Liu·· 7 小时前

Training-Free On-Policy Distillation:无需训练融合多个专家模型

Training-Free On-Policy Distillation

arXiv:2610.22236v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Bangji Yang, Jiajun Fan, Zhaoyu Zhu, Hongbo Ma, Ge Liu

研究任务与主要进展

研究提出 Training-Free On-Policy Distillation,通过仅使用前向计算将多个专家模型的能力聚合到一个模型中,在共享基础模型时可用输入二阶矩求解逐层最小二乘融合。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org