提出SLBF混合专家压缩方法

作者提出无数据的共享低秩基分解方法SLBF，用于压缩Mixture-of-Experts大语言模型，并通过在专家之间共享秩-k基实现更丰富的参数复用、更快收敛和更低重构误差。论文分析了专家剪枝、专家合并和权重重构的结构性误差问题，并称SLBF在5种、参数规模16B至122B的MoE架构上持续优于这三类方法中的方法；摘要未提供完整实验细节。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。