arXiv · cs.AI· Arnab Kanti Tarafder, Jaume Guasch-Mart\'i, Gokcen Kestor, Jie Ren·· 2 天前
RelayMoE：面向分布式MoE训练的内存高效专家路由
Memory-Efficient Expert Routing for Distributed MoE Training
arXiv:2610.07333v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Arnab Kanti Tarafder, Jaume Guasch-Mart\'i, Gokcen Kestor, Jie Ren
研究任务与主要进展
RelayMoE是一种面向分布式MoE训练的环形执行模型，通过让专家权重或令牌在通信与计算过程中循环流转，避免构建完整的top-k扩展分派缓冲区。论文摘要报告，在30B–57B生产MoE模型上，其单层实验相较Megatron-LM平均加速2倍；在相同GPU内存预算下，完整训练吞吐最高提升2.02倍，最大可训练序列长度最高扩展2.85倍。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org