arXiv · cs.AI· Peizhuang Cong, Aomufei Yuan, Shimao Chen, Yuxuan Tian, Bowen Ye, Yilun Yao, Tong Yang·· 1 天前
MoE研究通过经典算法预测大模型专家负载
Prediction Is All MoE Needs: Expert Load Distribution Goes from Fluctuating to Stabilizing
arXiv:2404.16914v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Peizhuang Cong, Aomufei Yuan, Shimao Chen, Yuxuan Tian, Bowen Ye, Yilun Yao, Tong Yang
研究任务与主要进展
Peizhuang Cong等人研究了多个大语言模型训练中的专家负载波动，并提出三种经典预测算法预测专家负载。对于GPT3 350M模型，预测未来1,000步和2,000步专家负载比例的平均错误率约为1.3%和1.8%；研究还区分了负载波动的暂态与具有时间局部性的稳定状态。作者表示，面向两种状态的专家放置方案将在后续工作中提出。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org