LatentRemedy修复多Agent非前缀KV缓存复用性能损失

Zhiwei Chen 等在 arXiv 提交论文，提出 LatentRemedy 方法，用少量任务条件潜在标记帮助目标 Agent 利用被复用的非前缀 KV 缓存上下文，而无需重新计算共享上下文块，以修复多 Agent 系统中这类复用带来的性能下降。 作者认为，问题不仅在于复用 KV 表示被污染，还在于目标 Agent 在自身指令下难以解读复用来的上下文。据论文实验，LatentRemedy 在冲突任务上一致优于现有复用基线，且随缓存规模增大，其首 token 延迟（TTFT）保持接近直接复用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。