arXiv · cs.AI· Woosung Koh, Hyunsoo Lee, Kyungjae Lee, Haeju Park, Dahyun Lee, Dasol Hwang, Moontae Lee·· 5 小时前
SynthSelf通过合成自蒸馏持续后训练小模型
Continually Post-training Small Models via Synthetic Self-distillation
arXiv:2610.13113v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Woosung Koh, Hyunsoo Lee, Kyungjae Lee, Haeju Park, Dahyun Lee, Dasol Hwang, Moontae Lee
研究任务与主要进展
研究者提出SynthSelf，利用更大同系列aligner、off-policy监督和拒绝采样，为小模型提供不破坏原始分布的高质量监督，以实现持续学习并减少遗忘。基于论文摘要，SynthSelf在4个获取数据集和14个保持基准上、覆盖3种小模型规模，优于包括off-policy和on-policy蒸馏在内的6种方法。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org