arXiv · cs.AI· Byeonghu Na, Donghyeok Shin, Yeongmin Kim, Mina Kang, Il-Chul Moon·· 2 天前
WASD：基于Wasserstein距离的大语言模型知识蒸馏
WASD: Wasserstein-based Knowledge Distillation for Large Language Models
arXiv:2610.07706v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Byeonghu Na, Donghyeok Shin, Yeongmin Kim, Mina Kang, Il-Chul Moon
研究任务与主要进展
Byeonghu Na等人提出WASD，通过基于词元嵌入代价矩阵的Wasserstein距离，将词元级语义信息用于大语言模型知识蒸馏，并利用Sinkhorn散度构造无需额外网络的高效目标。基于论文摘要，实验覆盖多个模型系列、规模和指令遵循、数学推理、代码生成任务，结果显示蒸馏表现得到改善；实现已公开于https://github.com/aailab-kaist/WASD。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org