LatentMoE：专家形状与逐层容量分配优化MoE

Yaoxiang Wang 等人在 arXiv 发布 LatentMoE 论文（基于论文摘要），将 MoE 专家计算置于低维空间，把每个专家的输入维度和中间宽度作为显式设计变量，并提出按层级内在维度分配专家容量的方法。作者发现专家形状共同限制专家局部 Jacobian 的秩，在固定每专家参数量条件下，近方形专家获得更高的秩上限；跨模型规模和路由粒度的受控形状扫描一致偏好近方形专家。与层级同质基线相比，按 ID 分配专家容量的模型取得更低的验证损失和更强的下游表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。