vLLM新增推送式NIXL KV传输连接器

AWS在Machine Learning Blog介绍vLLM新增的推送式（push-based）NIXL连接器NixlPushConnector，将预填充后KV缓存传输的协调和建立从首个token生成的临界路径上移出，用于分离式推理中的预填充-解码实例间传输。 在其使用Amazon EC2 P5en实例并通过EFA连接的1P1D部署基准测试（禁用前缀缓存）中，AWS称推送模式相比拉取模式TTFT最高提升3倍、每输出token耗时（TPOT）最高提升30%，并指出结果取决于负载和配置。需要双向KV传输或希望在预填充后再选择解码实例以做负载感知路由的场景，拉取式连接器仍是更合适的选择。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。