在线策略蒸馏或传播教师后门
热点事件观察中
在线策略蒸馏或传播教师后门
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Jian Luo等在论文摘要中报告，在其威胁模型下，安全对齐但植入后门的教师模型，可能通过在线策略蒸馏（OPD）把恶意行为传播给原本干净的学生模型；投毒率低至3%时，学生攻击成功率最高达70%。 仅用10个投毒样本训练16个epoch后，攻击成功率达到67%；多数设置中，top-k KL比采样token KL更早促成后门迁移。作者提出限制KL奖励的Lazy Defense，称其可延缓低投毒率设置下的后门学习。上述结果仅依据论文摘要。
AI 根据报道生成 · 1 小时前更新
最新进展10月7日 12:00
策略蒸馏用于安全对齐时可能传播教师模型后门报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv · cs.AI策略蒸馏用于安全对齐时可能传播教师模型后门
研究发现，安全对齐但植入后门的教师模型可能在策略蒸馏（OPD）中把恶意行为传播给学生模型；摘要报告投毒率低至3%时，学生模型攻击成功率最高达70%。仅使用10个投毒样本训练16个epoch后，攻击成功率达到67%，top-k KL在多数设置下比采样token KL更早促成后门迁移；作者提出通过限制KL奖励的Lazy Defense，在低投毒率设置下延缓后门学习。以上依据仅为论文摘要。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。