arXiv · cs.AI· Tianxiao Cao, Jiahe Shao, Yuning Qiu, Kyohei Atarashi, Hisashi Kashima, Qibin Zhao·· 1 天前
面向无数据MoE压缩的共享低秩基分解SLBF
Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
arXiv:2610.09342v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Tianxiao Cao, Jiahe Shao, Yuning Qiu, Kyohei Atarashi, Hisashi Kashima, Qibin Zhao
首次提交：2026-10-07 11:01
研究任务与主要进展
作者提出无数据的共享低秩基分解方法SLBF，用于压缩Mixture-of-Experts大语言模型，并通过在专家之间共享秩-k基实现更丰富的参数复用、更快收敛和更低重构误差。论文分析了专家剪枝、专家合并和权重重构的结构性误差问题，并称SLBF在5种、参数规模16B至122B的MoE架构上持续优于这三类方法中的方法；摘要未提供完整实验细节。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org