提出几何感知LLM调度算法SVF，近似比改进至约3

Li Kong、Qi Qi、Yinyu Ye、Zijie Zhou 提出面向 LLM 服务的几何感知在线调度算法 Smallest Volume First（SVF）及 1-bit SVF 变体，用于应对动态键值缓存的二维时空几何增长。作者通过体积分证书证明，在高并发情形下 SVF 的最坏情况近似比接近 3，优于此前最好的常数 48。该方法以即插即用层形式集成到 vLLM，并在 Llama-3.1 模型上评测：作者称 SVF 明显降低平均延迟和尾延迟，仅用 1 比特信息的 1-bit SVF 也取得有竞争力的吞吐和延迟，代码已公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。