AWS Machine Learning Blog· Mona Mona·· 2 小时前精选
Amazon SageMaker AI 的融合 MoE 内核优化
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
研究任务与主要进展
AWS 工程师介绍了 Amazon SageMaker AI 上融合混合专家模型的 GPU 内核优化：Swap-AB 适配 NVIDIA Hopper 的 WGMMA，在 H200 上带来 2%–4% 的端到端吞吐提升。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
本站判断
文章给出面向H200解码阶段的融合MoE内核优化路径：通过转置适配WGMMA、按量化格式选择后端并抑制Triton重复编译，分别改善吞吐和首Token延迟。收益与硬件、FP8量化、并发配置及版本相关，当前数字是AWS在指定H200工作负载上的报告；本站设想：在相同模型、批量与精度设置下，对比未优化版本并扩展到其他GPU架构，检验这些优化能否跨平台复用。
来源：AWS Machine Learning Blog · aws.amazon.com