SLEM：无校准数据的MoE专家合并方法发布

Dohyeon Kim、Bedionita Soro、Bruno Andreis、Sung Ju Hwang 等在 arXiv（2610.16484）发布论文摘要，提出无需校准数据的 MoE 专家合并框架 SLEM。 方法上，SLEM 用 VAE 将专家权重编码到结构化潜空间，基于专家权重的频谱计算合并系数，进行几何感知的潜空间插值后解码为合并后的专家权重。 基于论文摘要，与现有专家合并方法相比，SLEM 在通用知识基准上取得相当或更好的表现，在涉及数学推理和代码生成的生成基准上取得更高平均表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。