AWS介绍SageMaker上融合MoE内核优化做法

AWS 工程师发布博客，介绍在 Amazon SageMaker AI 上针对融合混合专家（MoE）模型的 GPU 内核优化：将 Swap-AB 适配到 NVIDIA Hopper 的 WGMMA 指令，在 H200 上带来 2%–4% 的端到端输出吞吐提升。 对 FP8 量化的融合 MoE 模型，同样在 H200 上取得 10% 的端到端吞吐提升，该优化已随 AWS Large Model Inference（LMI）v28 容器提供。针对变长参数导致的 Triton JIT 重编译问题，他们用 do_not_specialize 注解消除了重编译，在 H200 8 路张量并行下将 TTFT 改善 9%（PR #42849）。这些优化已上游合并到 vLLM，v0.24.0 及以后版本可用。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。