AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选
vLLM推出NixlPushConnector优化分离式推理的KV传输
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
研究任务与主要进展
vLLM新增NixlPushConnector，将预填充与解码之间的KV缓存传输协调移出首token生成的临界路径。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
本站判断
推送式 NIXL KV 连接器通过提前注册目标块、将描述符准备和传输提交移至后台线程，缩短预填充到解码的关键路径。在Qwen3-32B、1P1D、Amazon EC2 P5en和EFA配置下，作者报告高负载下TTFT最高改善3倍、TPOT改善30%，但收益依赖硬件、模型、工作负载和网络，且需要提前选择解码节点。
来源：AWS Machine Learning Blog · aws.amazon.com