提出CGTR教师刷新调度方法
热点事件持续更新
提出CGTR教师刷新调度方法
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Haowei Guo 等提出 Consolidation-Gated Teacher Refresh(CGTR),一种自策略蒸馏(self on-policy distillation)中的教师更新调度方法,用于解决教师更新时机不当导致的长期训练不稳定问题。 该方法在 Qwen3-8B 上通过受控调度扫描发现,教师更新之间的完全冻结期(isolation periods)是稳定学习的关键结构性质。CGTR 在保留隔离期的同时,以奖励提升和长度尾部安全作为联合证据来决定是否执行每次刷新。 论文称,使用单一共享参数集、无需针对各数据集单独调参,CGTR 在 Chemistry、Biology、Physics、ToolUse 四个任务上实现零崩溃并获得最佳最终得分。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
自策略蒸馏中教师何时更新:CGTR提升长期训练稳定性报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv · cs.AI自策略蒸馏中教师何时更新:CGTR提升长期训练稳定性
Haowei Guo等提出Consolidation-Gated Teacher Refresh(CGTR),用于解决自策略蒸馏中教师更新时机导致的长期稳定性问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。