LoOPSD:循环层序搜索实现教师自蒸馏
热点事件持续更新
LoOPSD:循环层序搜索实现教师自蒸馏
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Wei Fan 等发布论文 LoOPSD(arXiv:2610.18162v1),提出通过搜索同一模型各层的执行顺序构造更强的教师模型,再把教师在学生生成前缀上的预测蒸馏给学生;模型权重保持不变,搜索与蒸馏交替进行、持续重建教师。 据论文摘要(未核验全文),在 GSM8K、400-token 思考预算下,Qwen3-1.7B 准确率从 42.30% 提升至 79.61%,后续蒸馏轮次进一步超过首轮收益;在数学与逻辑推理任务上跨多个模型均显示提升。
AI 根据报道生成 · 3 小时前更新
最新进展10月14日 12:00
LoOPSD通过循环教师实现在线策略自蒸馏报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- arXiv · cs.AILoOPSD通过循环教师实现在线策略自蒸馏
LoOPSD通过搜索同一模型的层执行顺序构造教师,并将教师在学生生成前缀上的预测蒸馏给学生;模型权重保持不变,搜索与蒸馏交替进行并持续重建教师。基于论文摘要,在GSM8K、400-token思考预算下,Qwen3-1.7B准确率从42.30%提升至79.61%,后续蒸馏轮次进一步超过首轮收益。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。