OxyGen统一KV缓存管理加速VLA多任务并行推理

Xiangyu Li等论文作者发布OxyGen推理系统论文（arXiv v3），将KV cache作为跨任务和控制周期共享的一等资源，复用共享观测的prefill结果并对不同帧的未完成语言请求连续批处理，用于加速MoT VLA多任务并行推理。作者称隔离的KV cache管理是多任务推理慢的根源。 基于论文摘要：作者在RTX 4090和Jetson AGX Thor上评测π0.5，称相比隔离执行最高加速3.7倍，在RTX 4090上同时实现超过200 tokens/s的语言吞吐和70 Hz动作频率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。