AWS 开源贡献 vLLM 双向 KV 传输功能

AWS 介绍并开源贡献了 vLLM 的双向 KV 缓存传输功能（vLLM v0.21.0 起支持）：该功能让 Prefill 节点在多轮 Agent 对话的后续轮次复用 Decode 节点保留的 KV 块，避免对已有上下文重复预填充，从而降低首 Token 延迟（TTFT）。AWS 称该功能最初在其通过 EFA 互连的 Trainium 实例集群上构建并验证，随后作为与加速器无关的能力贡献给 vLLM。 AWS 在 1P1D 部署、使用 Amazon EC2 P5en 实例的多轮基准中称，该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍，zai-org/GLM-5-FP8 最高 3.3 倍；基准中 Prefill 节点关闭了前缀缓存（--no-enable-prefix-caching）。AWS 说明结果取决于工作负载和部署配置。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。