跳到正文
arXiv · cs.AI· Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei·· 2 天前

Stepped MoE:通过分段级路由实现可配置推理复杂度

Stepped MoE: Segment-Level Routing with Configurable Inference Complexity

arXiv:2610.07348v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei

研究任务与主要进展

Stepped MoE将弹性结构与稀疏门控架构结合,使单一语言模型根据上下文和目标效率规格,在推理时激活不同规模的参数子网络。论文摘要报告,该模型可使用10亿、20亿、30亿和40亿参数,在知识密集型基准上较相应密集模型准确率高2%—5%,并保持相近的延迟表现。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org