AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选
vLLM v0.21.0起支持双向KV传输，降低多轮Agent首Token延迟
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
研究任务与主要进展
AWS介绍并开源贡献了vLLM双向KV缓存传输功能，使Prefill节点可在后续对话轮次复用Decode节点保留的KV块，减少多轮Agent的重复预填充计算。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
本站判断
该功能针对Prefill-Decode分离部署中多轮上下文被重复计算的问题，通过让Prefill节点复用Decode节点保留的KV块降低TTFT；其价值取决于上下文长度、可复用前缀、模型单token计算成本及网络开销，启用可配置阈值和缓存感知路由器的复杂性与成本仍需按部署评估。
来源：AWS Machine Learning Blog · aws.amazon.com