AWS发布EKS上多节点Ray LLM容器PD分离部署教程

AWS Machine Learning Blog 发布教程，介绍如何在 Amazon EKS 上使用 Ray LLM Deep Learning Containers 将一个 LLM 部署到两个 GPU 节点，分别执行 prefill 和 decode，并通过一个 OpenAI-compatible API 端点提供服务。 教程使用两个 g6.8xlarge GPU worker 节点运行 Ray workers，一个负责 prefill 阶段，另一个负责 decode 阶段。配置上有两点要求：GPU 节点组需固定在单个可用区，因为 EFA 不能跨可用区；且需相应配置 NIXL，否则 NIXL 会默认使用 UCX，即使在 EFA 上也只以 TCP 速度运行。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。