WASD用词元语义改进大模型蒸馏

Byeonghu Na等人提出WASD，将基于词元嵌入代价矩阵的Wasserstein距离引入大语言模型知识蒸馏，利用词元级语义信息改进蒸馏目标；实现已在GitHub公开。 基于论文摘要，WASD采用Sinkhorn散度构造梯度等价目标，无需额外网络，以降低优化开销。作者称，实验覆盖多个模型系列和规模，并在指令遵循、数学推理及代码生成任务上显示蒸馏表现改善，但摘要未提供具体基线、指标或资源数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。