CAFE：将CKA特征蒸馏限制在适配器以兼顾英语与多语种ASR

Tianchi Liu 等提出CAFE（Confined-Adapter Feature distillation），把CKA特征蒸馏的梯度限制在英语绕过的适配器中，以缓解紧凑多语言ASR中非英语性能提升与英语性能下降之间的权衡，在参数层面而非损失层面处理该冲突。 作者报告的结果：在Open ASR Leaderboard上，CAFE将平均WER从8.55%降到8.02%；模型参数量为254M，比0.6B教师模型落后2个WER点，在24种语言的48个测试集上与更大的模型相当。训练使用564k小时数据和先进模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。