arXiv · cs.AI· Yaoxiang Wang, Kai Zhang, Ruobing Xie, Lanrui Wang, Guoliang Zhao, Junhui Li, Jinsong Su·· 11 小时前
LatentMoE通过专家形状与层级容量分配优化MoE模型
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
arXiv:2610.14644v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yaoxiang Wang, Kai Zhang, Ruobing Xie, Lanrui Wang, Guoliang Zhao, Junhui Li, Jinsong Su
研究任务与主要进展
Yaoxiang Wang等人提出LatentMoE，将MoE专家计算置于低维空间，并把专家的输入维度和中间宽度作为显式设计变量。基于论文摘要，作者发现两者共同限制专家局部Jacobian的秩，在固定每专家参数量的条件下，近方形专家获得更高的秩上限。使用层级内在维度分配专家容量后，模型相较层级同质基线取得更低的验证损失和更强的下游表现。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org