arXiv · cs.AI· Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei·· 2 天前
Stepped MoE:通过分段级路由实现可配置推理复杂度
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
arXiv:2610.07348v1阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei
研究任务与主要进展
Stepped MoE将弹性结构与稀疏门控架构结合,使单一语言模型根据上下文和目标效率规格,在推理时激活不同规模的参数子网络。论文摘要报告,该模型可使用10亿、20亿、30亿和40亿参数,在知识密集型基准上较相应密集模型准确率高2%—5%,并保持相近的延迟表现。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org